HBase의 장점, 단점 및 성능 병목 현상
데이비드 카터
⚡ 스마트 요약
HBase는 분산형 컬럼 지향 NoSQL 데이터베이스로, 다음과 같은 기술에 기반을 두고 있습니다. Hadoop HDFS또한, 이 기술은 수십억 개의 행에 대한 실시간 임의 읽기 및 쓰기 액세스를 제공하는 동시에 쿼리, 인덱싱 및 하드웨어 비용 측면에서 명확한 절충점을 제시합니다.
HBase 란 무엇입니까?
HBase는 Hadoop 분산 파일 시스템(HDFS) 위에서 실행되는 오픈 소스 분산형 컬럼 지향 NoSQL 데이터베이스입니다. Google Bigtable은 행과 열 패밀리로 구성된 테이블에 데이터를 저장하며, 수십억 개의 행과 수백만 개의 열로 확장될 수 있는 희소 데이터 세트를 위해 설계되었습니다.
관계형 데이터베이스와 달리 HBase는 고정된 스키마를 사용하지 않으며 쿼리 최적화 기능도 제공하지 않습니다. 대신 각 값은 행 키, 컬럼 패밀리, 컬럼 한정자 및 타임스탬프로 참조되므로 대규모 환경에서도 실시간 임의 읽기 및 쓰기 속도가 빠릅니다.
HBase 클러스터는 몇 가지 핵심 구성 요소에 의존합니다. HMaster는 클러스터를 조정하고 리전을 할당하며, 리전 서버는 실제 데이터를 저장하고 제공하며, Apache는... 주 키퍼 tracks는 어떤 서버가 활성 상태인지 확인하고 장애 조치를 지원합니다. HBase는 Hadoop 생태계 내에 있기 때문에 다음과 같은 도구들과 함께 작동합니다. MapReduce, 하이브그리고 배치 분석에는 Pig를 사용합니다. 내부 작동 방식에 대한 자세한 내용은 다음을 참조하세요. HBase 아키텍처.
HBase의 장점
HBase 사용의 주요 이점은 다음과 같습니다.
- HDFS 위에 매우 큰 데이터 세트를 저장하고 HBase 테이블에 저장된 수십억 개의 행을 집계하고 분석할 수 있습니다.
- 데이터베이스는 분산 환경에서 여러 클라이언트가 공유할 수 있습니다.
- 데이터 읽기 및 처리 시간은 기존 관계형 모델에 비해 짧습니다.
- 빠른 임의 읽기 및 쓰기 작업을 지원합니다.
- HBase는 온라인 분석 작업에 광범위하게 사용됩니다.
- ATM의 실시간 잔액 업데이트와 같은 은행 애플리케이션에서 HBase는 대용량 읽기 및 쓰기 작업을 안정적으로 처리합니다.
HBase의 단점
HBase의 중요한 제한 사항은 다음과 같습니다.
- HBase는 기존 관계형 모델을 완전히 대체하는 것은 아니며, 일부 관계형 기능은 지원되지 않습니다.
- HBase는 다음과 같은 기능을 수행할 수 없습니다. SQLSQL 구조를 지원하지 않으므로 쿼리 최적화 기능이 없습니다.
- HBase는 대규모 순차적 입력 또는 출력 액세스로 인해 CPU 및 메모리 사용량이 많은 반면, MapReduce 작업은 대부분 고정된 메모리를 사용하는 I/O 중심 작업입니다. HBase를 MapReduce 작업과 통합하면 예측할 수 없는 지연 시간이 발생할 수 있습니다.
- HBase를 Pig 및 Hive 작업과 통합하면 클러스터에서 메모리 문제가 발생할 수 있습니다.
- 공유 클러스터 환경에서는 HBase CPU 요구 사항을 충족하기 위해 노드당 할당해야 하는 작업 슬롯 수가 더 적습니다.
HBase의 성능 병목 현상
HBase는 확장성을 제공하지만, 몇 가지 아키텍처적 선택으로 인해 성능 병목 현상이 발생할 수 있으므로 팀은 이를 고려하여 계획을 세워야 합니다.
대규모 프로덕션 환경에서 HBase 클러스터는 수천 개의 노드에 걸쳐 실행될 수 있지만, 모든 슬레이브 리전 서버의 마스터 역할을 하는 것은 HMaster 하나뿐입니다. HMaster에 장애가 발생하면 클라이언트가 리전 서버에 접속할 수 있더라도 복구에 오랜 시간이 걸릴 수 있습니다. 대기 마스터를 운영하는 것도 가능하지만, 한 번에 하나의 HMaster만 활성화되며 장애 발생 후 두 번째 HMaster를 마스터로 승격하는 데에도 시간이 걸립니다. 따라서 HMaster는 성능 병목 현상의 주요 원인으로 알려져 있습니다.
HBase는 테이블 간 조인 연산을 직접 지원하지 않습니다. MapReduce를 사용하면 조인을 구현할 수 있지만, 설계 및 개발 시간이 상당히 추가되며, 일부 테이블 조인은 HBase에서 실질적으로 불가능합니다.
외부 RDBMS에서 HBase로 데이터를 마이그레이션하려면 일반적으로 새로운 스키마 설계가 필요하며, 이 마이그레이션 프로세스는 상당한 시간이 소요될 수 있습니다. 쿼리 또한 어렵기 때문에 많은 팀에서 HBase 위에 Apache Phoenix와 같은 SQL 레이어를 추가하여 효율적인 쿼리 작업을 수행합니다. 데이터 읽기 및 쓰기 익숙한 질문들과 함께.
HBase는 행 키가 기본 키 역할을 하는 단일 인덱스만 지원하므로 다른 필드에 대한 검색은 속도가 느립니다. 이러한 문제를 해결하기 위해 개발팀은 MapReduce 코드를 작성하거나 Apache를 통합하는 방식을 사용합니다. 솔러 보조 인덱싱을 위해 Apache Phoenix를 사용합니다.
- 다중 사용자 데이터 접근에 대한 보안 제어는 매우 더디게 개선되어 왔습니다.
- HBase는 부분 키를 완벽하게 지원하지 않습니다.
- 테이블당 하나의 기본 정렬 순서만 허용됩니다.
- 대용량 바이너리 파일을 HBase에 저장하는 것은 어렵습니다.
- HBase 스토리지 용량 제한으로 인해 실시간 쿼리 및 정렬이 제한됩니다.
- 테이블 내용에 대한 키 조회 및 범위 조회는 실시간으로 실행되어야 하는 쿼리에 제약을 줄 수 있습니다.
- 기본 인덱싱 기능이 없으므로 프로그래머는 인덱싱을 추가하기 위해 추가 코드나 스크립트를 작성해야 합니다.
- HBase는 하드웨어 요구 사항과 메모리 블록 할당으로 인해 실행 비용이 많이 듭니다.
- 분산 클러스터에는 여러 대의 서버가 필요합니다. 네임노드, 데이터노드, 주키퍼 및 리전 서버에 각각 별도의 노드가 필요합니다.
- 우수한 성능을 위해서는 메모리 용량이 큰 컴퓨터가 필요합니다.
- 전반적인 비용과 유지 관리가 더 간단한 대안보다 높습니다.
HBase와 RDBMS 비교
이 글에서는 HBase와 기존 관계형 데이터베이스를 반복적으로 비교합니다. 아래 표는 주요 차이점을 요약하여 보여주므로, 어떤 모델이 워크로드에 적합한지 판단하는 데 도움이 될 것입니다.
| 제품 특장점 | H베이스 | RDBMS |
|---|---|---|
| 데이터 모델 | 컬럼 지향형, 스키마 유연성을 갖춘 NoSQL 저장소 | 고정 스키마를 가진 행 지향 테이블 |
| 쿼리 언어 | 네이티브 SQL은 지원하지 않으며, API 또는 Apache Phoenix와 같은 추가 기능을 사용해야 합니다. | 쿼리 최적화 기능이 포함된 전체 SQL |
| 스케일링 | 수평적, 상품 노드 간(페타바이트) | 대부분 수직형이라 확장하기가 더 어렵습니다. |
| 거래 내역 | 행 단위 원자성만 허용하며, 다중 행 ACID는 지원하지 않습니다. | 완전 ACID 거래 |
| 조인 및 인덱스 | 네이티브 조인 없음; 단일 행 키 인덱스 | 네이티브 조인 및 여러 보조 인덱스 |
| 최고의 핏 | 희소하고, 매우 크며, 쓰기 속도가 빠른 실시간 데이터 | 복잡한 쿼리가 필요한 구조화된 데이터 |
요약하자면, HBase는 확장성과 실시간 접근에 유리한 반면, 관계형 데이터베이스 관리 시스템(RDBMS)은 풍부한 쿼리 기능과 강력한 일관성에 유리합니다. 데이터 볼륨과 쓰기 처리량이 관계형 데이터베이스가 감당할 수 있는 수준을 초과할 경우 HBase를 선택하십시오.
