데이터 웨어하우스의 데이터 마트란 무엇입니까? 유형 및 예
데이비드 카터
데이터마트란?
A 데이터 마트 조직의 단일 기능 영역에 초점을 맞추고 데이터 웨어하우스에 저장된 데이터의 하위 집합을 포함합니다. 데이터 마트는 데이터 웨어하우스의 압축 버전이며 조직의 특정 부서, 단위 또는 사용자 집합이 사용하도록 설계되었습니다. 예: 마케팅, 영업, HR 또는 재무. 이는 조직의 단일 부서에 의해 제어되는 경우가 많습니다.
데이터 마트는 일반적으로 데이터 웨어하우스에 비해 소수의 소스에서만 데이터를 가져옵니다. 데이터 마트는 크기가 작고 데이터웨어하우스에 비해 더 유연합니다.
왜 데이터 마트가 필요한가요?
- 데이터 마트는 데이터 양의 감소로 인해 사용자의 응답 시간을 향상시키는 데 도움이 됩니다.
- 자주 요청되는 데이터에 쉽게 액세스할 수 있습니다.
- 데이터 마트는 기업 데이터웨어하우스에 비해 구현이 더 간단합니다. 동시에, 데이터 마트 구현 비용은 전체 데이터 웨어하우스 구현에 비해 확실히 낮습니다.
- 데이터 웨어하우스에 비해 데이터마트는 민첩합니다. 모델 변경 시 데이터마트의 크기가 작아져 보다 빠르게 구축할 수 있습니다.
- 데이터마트는 단일 주제 전문가에 의해 정의됩니다. 반대로 데이터 웨어하우스는 다양한 도메인의 학제간 SME에 의해 정의됩니다. 따라서 데이터 마트는 데이터웨어하우스에 비해 변화에 더 개방적입니다.
- 데이터는 분할되어 있으며 매우 세분화된 액세스 제어 권한을 허용합니다.
- 데이터는 다양한 하드웨어/소프트웨어 플랫폼에 분할되어 저장될 수 있습니다.
데이터 마트의 종류
데이터 마트에는 세 가지 주요 유형이 있습니다.
- 매달린: 종속 데이터 마트는 운영, 외부 또는 두 소스 모두에서 직접 데이터를 가져와서 생성됩니다.
- 독립: 중앙 데이터 웨어하우스를 사용하지 않고 독립된 데이터 마트가 생성됩니다.
- 잡종: 이 유형의 데이터 마트는 데이터웨어하우스나 운영 시스템에서 데이터를 가져올 수 있습니다.
종속 데이터 마트
종속 데이터 마트를 사용하면 단일 데이터 웨어하우스에서 조직의 데이터를 소싱할 수 있습니다. 중앙 집중화의 이점을 제공하는 데이터 마트 사례 중 하나입니다. 하나 이상의 실제 데이터 마트를 개발해야 하는 경우 이를 종속 데이터 마트로 구성해야 합니다.
데이터 웨어하우스의 종속 데이터 마트는 두 가지 방법으로 구축할 수 있습니다. 필요에 따라 사용자가 데이터 마트와 데이터 웨어하우스에 모두 액세스할 수 있거나 액세스가 데이터 마트에만 제한되는 경우가 있습니다. 두 번째 접근 방식은 때때로 데이터 폐차장이라고도 불리는 생산물을 생성하므로 최적이 아닙니다. 데이터 폐차장에서는 모든 데이터가 공통 소스에서 시작되지만 폐기되고 대부분 정크화됩니다.
독립 데이터 마트
중앙 데이터 웨어하우스를 사용하지 않고 독립적인 데이터 마트가 생성됩니다. 이러한 종류의 데이터 마트는 조직 내의 소규모 그룹에 이상적인 옵션입니다.
독립 데이터 마트는 엔터프라이즈 데이터 웨어하우스나 다른 데이터 마트와 관계가 없습니다. 독립형 데이터 마트에서는 데이터가 별도로 입력되고 분석도 자율적으로 수행됩니다.
독립적인 데이터 마트의 구현은 데이터 웨어하우스 구축 동기와 정반대입니다. 우선, 다양한 정보를 원하는 다양한 관심사를 가진 여러 사용자가 분석할 수 있는 일관되고 중앙 집중화된 기업 데이터 저장소가 필요합니다.
하이브리드 데이터 마트
하이브리드 데이터 마트는 데이터 웨어하우스와는 별도로 소스의 입력을 결합합니다. 이는 새 그룹이나 제품이 조직에 추가된 후와 같이 임시 통합을 원할 때 도움이 될 수 있습니다.
다양한 데이터베이스 환경과 모든 조직의 빠른 구현 턴어라운드에 적합한 최고의 데이터 마트 사례입니다. 또한 최소한의 데이터 정리 노력이 필요합니다. 하이브리드 데이터 마트는 대규모 스토리지 구조도 지원하며 소규모 데이터 중심 애플리케이션에 유연성을 제공하는 데 가장 적합합니다.
데이터마트 구현 단계
데이터 마트를 구현하는 것은 보람 있지만 복잡한 절차입니다. 데이터 마트를 구현하는 자세한 단계는 다음과 같습니다.
설계
설계는 데이터 마트 구현의 첫 번째 단계입니다. 이는 데이터 마트 요청 시작부터 요구 사항에 대한 정보 수집까지의 모든 작업을 다룹니다. 마지막으로 논리적 및 물리적 데이터 마트 디자인을 만듭니다.
설계 단계에는 다음과 같은 작업이 포함됩니다.
- 비즈니스 및 기술 요구 사항을 수집하고 데이터 소스를 식별합니다.
- 적절한 데이터 하위 집합을 선택합니다.
- 데이터 마트의 논리적, 물리적 구조를 설계합니다.
다음 기준에 따라 데이터를 분할할 수 있습니다.
- 날짜
- 비즈니스 또는 기능 단위
- 지리학
- 위의 조합
데이터는 애플리케이션이나 DBMS 수준에서 분할될 수 있습니다. 단, 비즈니스 환경 변화에 따라 매년 다른 데이터 모델을 허용하므로 애플리케이션 수준에서 분할하는 것이 좋습니다.
어떤 제품과 기술이 필요합니까?
간단한 펜과 종이면 충분합니다. UML을 생성하는 데 도움이 되는 도구나 ER 다이어그램 또한 논리적 및 물리적 설계에 메타데이터를 추가합니다.
구축
이것이 구현의 두 번째 단계입니다. 여기에는 물리적 데이터베이스와 논리적 구조.
이 단계에는 다음과 같은 작업이 포함됩니다.
- 이전 단계에서 설계한 물리적 데이터베이스를 구현합니다. 예를 들어 테이블, 인덱스, 뷰 등과 같은 데이터베이스 스키마 개체가 생성됩니다.
어떤 제품과 기술이 필요합니까?
당신은 관계형 데이터베이스 관리 시스템 데이터 마트를 구축합니다. RDBMS에는 데이터 마트의 성공에 필요한 몇 가지 기능이 있습니다.
- 스토리지 관리 : RDBMS는 데이터를 생성, 추가, 삭제하기 위한 데이터를 저장하고 관리합니다.
- 빠른 데이터 액세스: SQL 쿼리를 사용하면 특정 조건/필터를 기반으로 데이터에 쉽게 액세스할 수 있습니다.
- 데이터 보호 : RDBMS 시스템은 정전과 같은 시스템 장애로부터 복구할 수 있는 방법도 제공합니다. 또한 디스크 오류가 발생할 경우 이러한 백업에서 데이터를 복원할 수 있습니다.
- 다중 사용자 지원: 데이터 관리 시스템은 동시 액세스, 즉 여러 사용자가 다른 사용자의 변경 사항을 방해하거나 덮어쓰지 않고 데이터에 액세스하고 수정할 수 있는 기능을 제공합니다.
- 보안 : RDMS 시스템은 또한 사용자가 객체와 특정 유형의 작업에 액세스하는 것을 규제하는 방법을 제공합니다.
인구
세 번째 단계에서는 데이터 마트에 데이터가 채워집니다.
채우기 단계에는 다음과 같은 작업이 포함됩니다.
- 소스 데이터에서 대상 데이터로의 매핑
- 소스 데이터 추출
- 데이터에 대한 정리 및 변환 작업
- 데이터 마트에 데이터 로드
- 메타데이터 생성 및 저장
어떤 제품과 기술이 필요합니까?
다음을 사용하여 이러한 채우기 작업을 수행합니다. ETL(변환 로드 추출) 도구. 이 도구를 사용하면 데이터 소스를 보고, 소스-대상 매핑을 수행하고, 데이터를 추출하고, 변환하고, 정리하고, 데이터 마트에 다시 로드할 수 있습니다.
이 과정에서 도구는 데이터 출처, 데이터 최신 여부, 데이터에 적용된 변경 유형, 수행된 요약 수준 등과 관련된 메타데이터도 생성합니다.
액세스
액세스는 데이터 쿼리, 보고서, 차트 생성 및 게시 등 데이터를 사용하는 네 번째 단계입니다. 최종 사용자가 데이터베이스에 쿼리를 제출하고 쿼리 결과를 표시합니다.
접근 단계에서는 다음 작업을 수행해야 합니다.
- 데이터베이스 구조와 개체 이름을 비즈니스 용어로 변환하는 메타 레이어를 설정합니다. 이는 기술적인 지식이 없는 사용자도 데이터 마트에 쉽게 액세스할 수 있도록 도와줍니다.
- 데이터베이스 구조를 설정하고 유지 관리합니다.
- 필요한 경우 API 및 인터페이스 설정
어떤 제품과 기술이 필요합니까?
명령줄이나 GUI를 사용하여 데이터 마트에 액세스할 수 있습니다. GUI는 그래프를 쉽게 생성할 수 있고 명령줄에 비해 사용자 친화적이므로 선호됩니다.
관리
이는 데이터 마트 구현 프로세스의 마지막 단계입니다. 이 단계에서는 다음과 같은 관리 작업을 다룹니다.
- 지속적인 사용자 액세스 관리.
- 향상된 성능을 달성하기 위한 시스템 최적화 및 미세 조정.
- 데이터 마트에 새로운 데이터를 추가하고 관리합니다.
- 복구 시나리오를 계획하고 시스템 장애 시 시스템 가용성을 보장합니다.
어떤 제품과 기술이 필요합니까?
데이터 마트 관리를 위해 GUI 또는 명령줄을 사용할 수 있습니다.
데이터 마트 구현 우수 사례
데이터 마트 구현 프로세스 중에 따라야 할 모범 사례는 다음과 같습니다.
- 데이터 마트의 소스는 부서별로 구성되어야 합니다.
- 데이터 마트의 구현 주기는 단기간, 즉 몇 달이나 몇 년이 아닌 몇 주 단위로 측정되어야 합니다.
- 데이터 마트 구현은 복잡할 수 있으므로 모든 이해관계자를 계획 및 설계 단계에 참여시키는 것이 중요합니다.
- 데이터 마트 하드웨어/소프트웨어, 네트워킹 및 구현 비용은 계획에서 정확하게 예산이 책정되어야 합니다.
- 데이터 마트가 동일한 하드웨어에서 생성되더라도 사용자 쿼리를 처리하려면 다른 소프트웨어가 필요할 수 있습니다. 빠른 사용자 응답을 위해 추가 처리 능력 및 디스크 스토리지 요구 사항을 평가해야 합니다.
- 데이터 마트는 데이터 웨어하우스와 다른 위치에 있을 수 있습니다. 그렇기 때문에 데이터를 데이터 마트에 전송하는 데 필요한 데이터 볼륨을 처리할 수 있는 충분한 네트워킹 용량을 확보하는 것이 중요합니다..
- 구현 비용은 Datamart 로딩 프로세스에 걸리는 시간을 예산으로 책정해야 합니다. 로딩 시간은 변환의 복잡성이 증가함에 따라 증가합니다.
데이터 마트의 장점과 단점
장점
- 데이터 마트에는 조직 전체 데이터의 하위 집합이 포함되어 있습니다. 이 데이터는 조직의 특정 그룹의 사람들에게 가치가 있습니다.
- 비용 효율적인 대안입니다. 데이터웨어 하우스, 구축하는 데 많은 비용이 소요될 수 있습니다.
- 데이터 마트는 데이터에 더 빠르게 접근할 수 있게 해줍니다.
- 데이터 마트는 사용자의 요구에 맞게 특별히 설계되었으므로 사용하기 쉽습니다. 따라서 데이터 마트는 비즈니스 프로세스를 가속화할 수 있습니다.
- 데이터 마트는 데이터 웨어하우스 시스템에 비해 구현 시간이 더 짧습니다. 데이터의 유일한 하위 집합에만 집중하면 되므로 데이터 마트를 구현하는 것이 더 빠릅니다.
- 여기에는 분석가가 데이터 추세를 확인할 수 있는 과거 데이터가 포함되어 있습니다.
단점
- 많은 경우 기업에서는 큰 이점 없이 서로 이질적이고 관련되지 않은 데이터 마트를 너무 많이 생성합니다. 유지하는 데 큰 장애물이 될 수 있습니다.
- 데이터마트는 전사적으로 서비스를 제공할 수 없습니다. 데이터 분석 데이터 세트가 제한되어 있기 때문입니다.
요약
- 데이터 마트 정의: 데이터 마트는 조직의 단일 기능 영역에 초점을 맞춘 데이터 웨어하우스의 하위 집합으로 정의됩니다.
- 데이터 마트는 데이터 양의 감소로 인해 사용자의 응답 시간을 향상시키는 데 도움이 됩니다.
- 데이터 마트의 세 가지 유형은 1) 종속형 2) 독립형 3) 하이브리드형입니다.
- 데이터 마트의 중요한 구현 단계는 1) 설계 2) 구축 3 채우기 4) 액세스 5) 관리입니다.
- 데이터 마트의 구현 주기는 단기간, 즉 몇 달이나 몇 년이 아닌 몇 주 단위로 측정되어야 합니다.
- 데이터 마트는 구축 비용이 많이 드는 데이터 웨어하우스에 대한 비용 효율적인 대안입니다.
- 데이터 마트는 데이터 세트가 제한되어 있어 전사적인 데이터 분석을 제공할 수 없습니다.
