logo
logo
네이버 최대의 데이터 저장소 운영기 (HBase Locality기반 운영기)
코드너리  |  2021. 11. 17
데이터 인프라
사용된 기술:
hadoop-image
hbase-image
https://tv.naver.com/v/23651480

목차:

1. HBase기반 데이터 저장소

  • 네이버에서 데이터 저장소가 필요한 이유
  • HBase 기반 검색 데이터 저장소 (Deview 2017)
  • HBase의 기본 구조

2. HBase Locality란

  • Data Locality
  • Hbase Locality
  • HBase Locality를 올리는 방법

3. HBase Locality를 통한 읽기 성능 높이기

  • LocatedBlocks의 순서
  • HDFS Short-Circuit Local Reads

4. 네이버 데이터 저장소에서 HBase Locality를 지키기 위한 운영

  • 운영시 HBase Locality를 지키는 방법
  • 클러스터 규모와 비례하는 디스크 장애
  • DataNode Hot Swap Drive
  • 언마운트 불능 현상1
  • HDFS Block 이 망가졌을 때 상태 공유
  • Aggressive Purge
  • 언마운트 불능 현상2
  • 디스크 장애 처리 자동화

5. 네이버 데이터 저장소에서 효과

Copyright © 2025. Codenary All Rights Reserved.