데이터 웨어하우스란 무엇인가? 유형은 무엇인가?

데이터 웨어하우징이란 무엇입니까?

데이터 웨어하우징(DW) 데이터 수집 및 관리는 다양한 소스에서 데이터를 수집하고 관리하여 의미 있는 비즈니스 통찰력을 제공하는 프로세스입니다. 데이터 웨어하우스는 일반적으로 이기종 소스의 비즈니스 데이터를 연결하고 분석하는 데 사용되며, 데이터 분석 및 보고를 위해 구축된 모든 비즈니스 인텔리전스(BI) 시스템의 핵심입니다.

데이터 웨어하우징은 데이터의 전략적 활용을 지원하는 기술과 구성 요소의 조합입니다. 이는 대량의 비즈니스 정보를 전자적으로 저장하는 방식으로, 거래 처리보다는 질의 및 분석에 중점을 둡니다. 데이터 웨어하우스는 원시 데이터를 유용한 정보로 변환하여 사용자가 중요한 의사 결정을 내릴 수 있도록 적시에 제공합니다.

의사결정 지원 데이터베이스(데이터 웨어하우스)는 조직의 운영 데이터베이스와 별도로 관리됩니다. 데이터 웨어하우스는 제품이 아니라 환경, 즉 정보 시스템의 아키텍처적 구성 요소로서, 기존 운영 데이터 저장소에서는 접근하거나 표현하기 어려운 최신 및 과거의 의사결정 지원 정보를 사용자에게 제공합니다.

재고 관리 시스템에 사용되는 3NF(제3정규화) 설계 데이터베이스는 일반적으로 서로 연관된 테이블이 많다는 것을 알고 계실 것입니다. 예를 들어, 현재 재고 보고서를 생성하려면 12개 이상의 조인 조건이 필요할 수 있으며, 이는 쿼리 및 보고서 응답 시간을 저하시킵니다. 데이터 웨어하우스는 이러한 문제를 해결하기 위해 비정규화된 설계를 제공하여 응답 시간을 단축하고 보고 및 분석 성능을 향상시킵니다.

데이터 웨어하우스 시스템은 다음과 같은 이름으로도 알려져 있습니다.

• 의사결정 지원 시스템(DSS)
• 임원정보시스템
• 경영 정보 시스템
• 비즈니스 인텔리전스 솔루션
• 분석적 응용
• 데이터웨어 하우스

데이터 웨어하우스의 역사

데이터 웨어하우스는 사용자가 조직의 성과를 이해하고 개선하는 데 도움을 줍니다. 데이터 웨어하우스의 필요성은 컴퓨터 시스템이 더욱 복잡해지고 처리해야 하는 정보량이 지속적으로 증가함에 따라 생겨났습니다. 데이터 웨어하우징은 새로운 개념이 아니며, 오랜 진화 역사를 가지고 있습니다.

다음은 데이터 웨어하우스 발전 과정에서 발생한 주요 사건들입니다.

• 1960 — 다트머스 대학교와 제너럴 밀스는 공동 연구 프로젝트를 통해 "차원"과 "사실"이라는 용어를 개발했습니다.
• 1970 AC Nielsen과 IRI는 소매 판매를 위한 차원형 데이터 마트를 도입했습니다.
• 1983 — 테라데이터 코퍼레이션은 의사결정 지원을 위해 특별히 설계된 데이터베이스 관리 시스템을 출시했습니다.
• 1980 년대 후반 - IBM 연구원인 폴 머피와 배리 데블린은 비즈니스 데이터 웨어하우스 개념을 개발했습니다.
• 현대 데이터 웨어하우스의 비전은 다음과 같은 인물들에게서 비롯되었습니다. Bill 인몬흔히 "데이터 웨어하우스의 아버지"라고 불리는 그는 데이터 웨어하우스와 기업 정보 공장의 구축, 사용 및 유지 관리에 관한 기초적인 저서를 집필했습니다.

데이터 웨어하우스는 어떻게 작동하나요?

데이터 웨어하우스는 하나 이상의 데이터 소스에서 정보가 들어오는 중앙 저장소 역할을 합니다. 데이터는 트랜잭션 시스템 및 기타 관계형 데이터베이스에서 웨어하우스로 유입됩니다.

수신되는 데이터는 다음과 같을 수 있습니다.

1. 구조화 된
2. 반구조화
3. 비정형

데이터는 처리, 변환 및 수집되어 사용자가 비즈니스 인텔리전스 도구, SQL 클라이언트 및 스프레드시트를 통해 선별된 데이터 세트에 액세스할 수 있게 됩니다. 데이터 웨어하우스는 다양한 소스의 정보를 하나의 포괄적인 데이터베이스로 통합합니다.

이 모든 정보를 한 곳에 통합함으로써 조직은 고객을 전체적으로 분석하고 사용 가능한 모든 데이터 포인트를 고려했는지 확인할 수 있습니다. 데이터 웨어하우징은 데이터 마이닝을 가능하게 합니다. 데이터 마이닝은 매출 증대, 비용 절감 및 더 나은 예측으로 이어지는 데이터 패턴을 찾아냅니다.

데이터 웨어하우스의 유형

데이터 웨어하우스(DWH)의 주요 세 가지 유형은 다음과 같습니다.

1. 엔터프라이즈 데이터 웨어하우스(EDW):

엔터프라이즈 데이터 웨어하우스(EDW)는 조직 전체에 걸쳐 의사결정 지원 서비스를 제공하는 중앙 집중식 데이터 저장소입니다. 데이터 구성 및 표현에 대한 통합적인 접근 방식을 제공하며, 주제별로 데이터를 분류하고 해당 분류에 따라 접근 권한을 부여할 수 있는 기능을 제공합니다.

2. Opera국가 데이터 저장소(ODS):

An OperaODS(Office Data Store)는 데이터 웨어하우스나 OLTP 시스템으로는 조직의 보고 요구 사항을 충족할 수 없을 때 사용하는 데이터 저장소입니다. ODS에서는 데이터가 실시간으로 갱신되므로 현재 직원 기록 저장과 같은 일상적인 활동에 이상적입니다.

3. 데이터 마트:

A 데이터 마트 독립형 데이터 마트는 특정 사업 부문(예: 영업, 재무 또는 마케팅)을 위해 설계된 데이터 웨어하우스의 하위 집합입니다. 독립형 데이터 마트에서는 소스 시스템에서 직접 데이터를 수집할 수 있습니다.

데이터 웨어하우스의 일반적인 단계

초기에는 조직들이 비교적 단순한 방식으로 데이터 웨어하우징을 활용했습니다. 시간이 지남에 따라 더욱 정교한 활용 방식이 나타났습니다. 데이터 웨어하우스(DWH) 사용의 일반적인 단계는 다음과 같습니다.

오프라인 Opera데이터베이스:

운영 체제의 데이터를 다른 서버로 복사합니다. 복사된 데이터를 로드, 처리 및 보고하는 작업은 운영 체제의 성능에 영향을 미치지 않습니다.

오프라인 데이터 웨어하우스:

데이터 웨어하우스의 데이터는 운영 데이터베이스에서 정기적으로 업데이트됩니다. 데이터는 데이터 웨어하우스의 목표를 충족하기 위해 매핑 및 변환됩니다.

실시간 데이터 웨어하우스:

데이터 웨어하우스는 운영 데이터베이스에서 거래가 발생할 때마다 업데이트됩니다. 항공권 및 철도 예약 시스템이 대표적인 예입니다.

통합 데이터 웨어하우스:

데이터 웨어하우스는 운영 시스템에서 트랜잭션을 수행할 때 지속적으로 업데이트됩니다. 그런 다음 데이터 웨어하우스는 운영 시스템으로 전달될 트랜잭션을 생성합니다.

데이터 웨어하우스의 구성 요소

데이터 웨어하우스의 네 가지 구성 요소는 다음과 같습니다.

부하 관리자: 프런트 컴포넌트라고도 불리는 로드 매니저는 ex와 관련된 모든 작업을 처리합니다.trac데이터 웨어하우스로의 데이터 입력 및 로딩 작업입니다. 이러한 작업에는 데이터 웨어하우스 입력을 위한 데이터 변환 작업이 포함됩니다.

창고 관리자 : 데이터 웨어하우스 관리자는 웨어하우스 내 데이터 관리와 관련된 작업을 수행합니다. 데이터 일관성을 보장하기 위해 데이터를 분석하고, 인덱스와 뷰를 생성하고, 비정규화 및 집계를 생성하고, 소스 데이터를 변환 및 병합하고, 데이터를 보관 또는 백업합니다.

쿼리 관리자: 백엔드 구성 요소라고도 하는 쿼리 관리자는 사용자 쿼리와 관련된 작업을 처리합니다. 쿼리를 적절한 테이블로 전달하고 실행 일정을 예약합니다.

최종 사용자 액세스 도구:

이러한 도구는 1) 데이터 보고, 2) 쿼리 도구, 3) 애플리케이션 개발 도구, 4) EIS 도구, 5) OLAP 도구의 다섯 가지 그룹으로 분류됩니다. 데이터 마이닝 도구.

데이터 웨어하우스가 필요한 사람은 누구일까요?

데이터 웨어하우스(DWH)는 다음과 같은 모든 유형의 사용자에게 필요합니다.

• 대량의 데이터에 의존하는 의사 결정권자.
• 여러 소스의 정보를 결합하기 위해 맞춤형의 복잡한 프로세스를 실행하는 사용자.
• 데이터에 접근하기 위한 간편하고 편리한 기술을 원하는 사람들.
• 체계적이고 반복 가능한 의사결정 방식을 원하는 팀.
• 보고서, 대시보드, 표 또는 차트를 위해 대규모 데이터 세트에서 빠른 성능이 필요한 사용자.
• 데이터 흐름과 그룹에서 숨겨진 패턴을 발견하려는 분석가들pings.

데이터 웨어하우스는 어떤 용도로 사용되나요?

다음은 데이터 웨어하우스가 가장 일반적으로 사용되는 분야입니다.

공기 호스:

항공 업계에서 데이터 웨어하우스는 승무원 배정, 노선 수익성 분석, 상용고객 프로그램 프로모션 및 이와 유사한 운영 관련 의사 결정을 지원합니다.

은행업:

데이터 웨어하우스는 은행에서 업무 자원을 효율적으로 관리하기 위해 널리 사용됩니다. 또한 여러 은행에서는 시장 조사, 제품 성능 분석 및 운영 계획 수립에도 데이터 웨어하우스를 활용합니다.

건강 관리:

의료 부문에서는 데이터 웨어하우스를 활용하여 전략을 수립하고 결과를 예측하며, 환자 치료 보고서를 생성하고 보험 파트너 및 의료 지원 서비스와 데이터를 공유합니다.

공공 부문:

공공 부문에서 데이터 웨어하우스는 정보 수집을 지원하고 정부 기관이 모든 개인의 세금 기록 및 건강 정책 기록을 유지 및 분석하는 데 도움을 줍니다.

투자 및 보험:

이 분야에서 데이터 창고는 데이터 패턴, 고객 동향 및 시장 움직임을 분석하는 데 사용됩니다.

소매 체인점:

소매 체인점들은 유통 및 마케팅을 위해 데이터 웨어하우스를 사용합니다. track개 품목과 고객 구매 패턴을 분석하고, 프로모션을 기획하며, 가격 정책을 결정합니다.

원거리 통신 :

통신 회사들은 제품 프로모션, 판매 결정 및 유통 결정을 위해 데이터 웨어하우스를 사용합니다.

환대 산업 :

호텔업계는 데이터 웨어하우스를 활용하여 고객 피드백과 여행 패턴을 기반으로 고객을 타겟팅하는 광고 및 프로모션 캠페인을 설계하고 예측합니다.

데이터 웨어하우스를 구현하는 단계

데이터 웨어하우스 구현과 관련된 비즈니스 위험을 관리하는 가장 좋은 방법은 다음 세 가지 전략을 따르는 것입니다.

1. 기업 전략: 현재 기술 아키텍처 및 도구는 물론 데이터 웨어하우스에서 지원해야 하는 팩트, 디멘션 및 속성을 파악합니다. 데이터 맵ping 그리고 변화는 이 단계의 일부입니다.
2. 단계별 배송: 데이터 웨어하우스는 주제 영역별로 단계적으로 구현해야 합니다. 예약 및 청구와 같은 관련 비즈니스 엔티티를 먼저 제공한 후 통합해야 합니다.
3. 반복 프로토타입ping: 데이터 웨어하우스는 한 번에 모든 것을 구축하는 빅뱅 방식보다는, 반복적으로 개발, 테스트 및 개선하는 방식으로 구축해야 합니다.

다음은 데이터 웨어하우스 구현의 주요 단계와 각 단계의 결과물입니다.

단계	작업	산출물
1	프로젝트 범위 정의	범위 정의
2	비즈니스 요구 사항을 파악합니다.	논리적 데이터 모델
3	밝히다 Opera국가 데이터 저장소 요구 사항	Opera선택적 데이터 저장소 모델
4	전과를 획득하거나 개발하세요trac도구	Extract 도구 및 소프트웨어
5	데이터 웨어하우스 데이터 요구사항을 정의합니다.	전환 데이터 모델
6	문서 누락 데이터	할 일 목록
7	지도 Opera데이터 웨어하우스에 대한 선택적 데이터 저장소	DW 데이터 통합 ​​맵
8	데이터 웨어하우스 데이터베이스 설계 개발	DW 데이터베이스 설계
9	Extract 데이터 출처 Opera선택적 데이터 저장소	통합 DW 데이터 Extracts
10	데이터 웨어하우스를 로드합니다	초기 데이터 로드
11	데이터 웨어하우스를 유지 관리합니다.	지속적인 데이터 액세스 및 후속 로드

데이터 웨어하우스 구현을 위한 최고의 사례

• 데이터의 일관성, 정확성 및 무결성을 테스트하기 위한 계획을 수립하십시오.
• 데이터 웨어하우스는 잘 통합되고, 명확하게 정의되어 있으며, 타임스탬프가 찍혀 있어야 합니다.
• 데이터 웨어하우스를 설계할 때는 적절한 도구를 사용하고, 수명주기를 준수하며, 데이터 충돌을 조기에 해결하고, 실수로부터 배워야 합니다.
• 운영 시스템과 운영 보고서를 창고로 대체해서는 안 됩니다.
• 전 애인에 너무 많은 시간을 쏟지 마세요.trac데이터 입력, 정리 및 로딩 — 가능한 한 자동화하십시오.
• 데이터 웨어하우스 구현에는 비즈니스 팀을 포함한 모든 이해관계자를 참여시켜야 합니다. 웨어하우스를 공동 프로젝트로 관리하여 최종 사용자에게 지속적으로 유용하게 활용될 수 있도록 해야 합니다.
• 최종 사용자를 위한 교육 계획을 준비합니다.

데이터 웨어하우스의 장점과 단점

데이터 웨어하우스(DWH)의 장점:

• 기업 사용자는 여러 소스의 중요 데이터에 한 곳에서 신속하게 접근할 수 있습니다.
• 부서 간 활동에 걸쳐 일관된 정보를 제공하고 임시 보고 및 질의를 지원합니다.
• 여러 데이터 소스를 통합하여 운영 시스템의 부하를 줄입니다.
• 분석 및 보고에 소요되는 총 시간을 단축합니다.
• 구조 개편 및 통합을 통해 최종 사용자가 보고 및 분석을 더 쉽게 할 수 있습니다.
• 여러 소스에서 데이터를 검색할 필요성을 없애줌으로써 사용자의 시간을 절약해 줍니다.
• 대량의 과거 데이터를 저장하여 추세 분석 및 미래 예측을 가능하게 합니다.

데이터 웨어하우스의 단점:

• 구조화되지 않은 데이터에는 이상적인 옵션이 아닙니다.
• 제작 및 구현에는 시간이 많이 소요됩니다.
• 데이터 웨어하우스는 적극적인 유지 관리가 없으면 비교적 빠르게 노후화될 수 있습니다.
• 데이터 유형, 범위, 소스 스키마, 인덱스 또는 쿼리를 변경하는 것은 어렵습니다.
• 데이터 웨어하우스는 겉보기에는 쉬워 보이지만 일반 사용자에게는 복잡합니다.
• 최선의 노력을 기울이더라도 프로젝트 범위는 구현 과정에서 확대되는 경향이 있습니다.
• 사업 부서마다 서로 상충되는 업무 규칙을 개발하는 경우가 있습니다.
• 조직은 교육 및 도입에 상당한 자원을 할당해야 합니다.

데이터 웨어하우징의 미래

• 규제 제약 이는 저장 및 관리가 더 어려운 비정형 데이터를 포함하여 서로 다른 데이터 소스를 결합하는 기능을 제한할 수 있습니다.
• 으로 크기 데이터베이스 규모가 커짐에 따라, 매우 큰 데이터베이스의 기준이 계속해서 높아지고 있으며, 그러한 규모의 데이터 웨어하우스를 구축하고 운영하는 것은 점점 더 복잡해지고 있습니다.
• 멀티미디어 데이터 텍스트처럼 쉽게 조작할 수 없습니다. 관계형 소프트웨어는 텍스트 정보를 잘 처리하지만, 리치 미디어는 여전히 활발한 연구 분야입니다.

데이터 웨어하우스 도구

시중에는 다양한 데이터 웨어하우징 도구가 있습니다. 그중 가장 유명한 몇 가지를 소개합니다.

1. 마크로직:

마크로직 이 솔루션은 풍부한 엔터프라이즈 기능을 통해 데이터 통합을 간소화하고 가속화하는 데이터 웨어하우징 솔루션입니다. 복잡한 검색 작업을 수행하고 문서, 관계 및 메타데이터를 쿼리할 수 있습니다.

2. Oracle:

Oracle 업계 최고의 데이터베이스입니다. 온프레미스 및 클라우드 배포 모두를 위한 광범위한 데이터 웨어하우스 솔루션을 제공하며 운영 효율성을 개선하여 고객 경험을 최적화하는 데 도움을 줍니다.

3. Amazon 적색편이:

Amazon 적색 편이 이 서비스는 표준적인 방식으로 데이터를 분석하는 데 있어 간단하고 비용 효율적인 데이터 웨어하우스 서비스입니다. SQL 기존 BI 도구와도 호환됩니다. 쿼리 최적화 기술을 사용하여 페타바이트 규모의 정형화된 데이터에 대해 복잡한 쿼리를 실행합니다.

다음은 유용한 전체 목록입니다. 데이터 웨어하우스 도구.

자주 묻는 질문