データ ウェアハウスとは何ですか? 種類、定義、例

データ ウェアハウジングとは

A データウェアハウス (DW) は、ビジネスに有意義な洞察を提供するために、さまざまなソースからデータを収集および管理するプロセスです。 データ ウェアハウスは通常、異種データからのビジネス データを接続して分析するために使用されます。neo私たちの情報源。 データ ウェアハウスは、データ分析とレポート作成のために構築された BI システムの中核です。

これは、データの戦略的使用を支援するテクノロジーとコンポーネントの組み合わせです。 これは、トランザクション処理ではなくクエリと分析を目的として設計された、ビジネスによる大量の情報の電子ストレージです。 これは、データを情報に変換し、タイムリーにユーザーが利用できるようにして変化をもたらすプロセスです。

The decision support database (Data Warehouse) is maintained separately from the organization’s operational database. However, the data warehouse is not a product but an environment. It is an architectural construct of an information system which provides users with current and historical decision support information which is difficult to access or present in the traditional operational data store.

在庫システム用に 3NF で設計されたデータベースの多くには、相互に関連するテーブルがあることをご存知の方も多いでしょう。 たとえば、現在のインベントリ情報に関するレポートには、12 を超える結合条件が含まれる場合があります。 これにより、クエリとレポートの応答時間が急速に遅くなる可能性があります。 データ ウェアハウスは、応答時間を短縮し、レポートや分析のクエリのパフォーマンスを向上させる新しい設計を提供します。

データ ウェアハウス システムは次のようにも知られています。wing 名前:

  • 意思決定支援システム (DSS)
  • 経営情報システム
  • 経営情報システム
  • ビジネスインテリジェンスソリューション
  • 分析アプリケーション
  • データウェアハウス

データウェアハウス

データウェアハウスの歴史

データウェアハウスは、ユーザーが組織のパフォーマンスを理解し、向上させるのに役立ちます。 コンピュータシステムの高度な通信化に伴い、データをウェアハウスする必要性が高まりましたplex 増加する情報量を処理する必要がありました。 ただし、データ ウェアハウジングは新しいものではありません。

データ ウェアハウスの進化における重要な出来事をいくつか紹介します。

  • 1960年 - ダートマスとゼネラル・ミルズは共同研究プロジェクトで、寸法と事実という用語を開発しました。
  • 1970 - ニールセンと IRI が小売販売向けに次元データ マートを導入。
  • 1983 - Tera Data Corporation は、意思決定支援用に特別に設計されたデータベース管理システムを導入
  • データ ウェアハウスは 1980 年代後半に始まりました。 IBM 労働者の Paul Murphy と Barry Devlin は、ビジネス データ ウェアハウスを開発しました。
  • However, the real concept was given by Inmon Bill. He was considered as a father of data warehouse. He had written about a variety of topics for building, usage, and maintenance of the warehouse & the Corporate Information Factory.

データウェアハウスはどのように機能するのでしょうか?

データ ウェアハウスは、XNUMX つ以上のデータ ソースから情報が届く中央リポジトリとして機能します。 データは、トランザクション システムや他のリレーショナル データベースからデータ ウェアハウスに流れ込みます。

データは次のとおりです。

  1. 構造化されました
  2. 半構造化
  3. 非構造化データ

データは処理、変換、取り込まれ、ユーザーはビジネス インテリジェンス ツール、SQL クライアント、スプレッドシートを通じてデータ ウェアハウス内の処理済みデータにアクセスできるようになります。 データ ウェアハウスは、さまざまなソースからの情報を XNUMX つの包括的なデータベースに統合します。

これらすべての情報を XNUMX か所に統合​​することで、組織は顧客をより総合的に分析できるようになります。 これは、利用可能なすべての情報を確実に考慮するのに役立ちます。 データ ウェアハウジングによりデータ マイニングが可能になります。 データマイニングでは、売上や利益の増加につながる可能性のあるデータのパターンを探します。

データ ウェアハウスの種類

データ ウェアハウス (DWH) の主なタイプは次の XNUMX つです。

1. エンタープライズ データ ウェアハウス (EDW):

エンタープライズ データ ウェアハウス (EDW) は、集中型のウェアハウスです。 企業全体に意思決定支援サービスを提供します。 データを整理して表現するための統一されたアプローチを提供します。 また、主題に従ってデータを分類し、それらの部門に従ってアクセスを許可する機能も提供します。

2. 運用データストア:

ODS とも呼ばれるオペレーショナル データ ストアは、データ ウェアハウスも OLTP システムも組織のレポート ニーズをサポートしていない場合に必要なデータ ストアにほかなりません。 ODS では、データ ウェアハウスはリアルタイムで更新されます。 したがって、従業員の記録の保存などの日常的な活動に広く好まれています。

3. データマート:

A データマート データ ウェアハウスのサブセットです。 これは、販売、財務、営業、財務などの特定の業種向けに特別に設計されています。 独立したデータ マートでは、データをソースから直接収集できます。

データ ウェアハウスの一般的な段階

以前、組織は比較的単純なデータ ウェアハウジングの使用を開始していました。 しかし、時間が経つにつれて、データ ウェアハウジングのより高度な使用が始まりました。

次のことwing データ ウェアハウス (DWH) の使用の一般的な段階は次のとおりです。

オフライン運用データベース:

この段階では、データが運用システムから別のサーバーにコピーされるだけです。 この方法では、コピーされたデータのロード、処理、レポートはオペレーティング システムのパフォーマンスに影響を与えません。

オフライン データ ウェアハウス:

データウェアハウス内のデータは、運用データベースから定期的に更新されます。 Datawarehouse 内のデータは、Datawarehouse の目的を満たすようにマッピングおよび変換されます。

リアルタイム データ ウェアハウス:

この段階では、運用データベースでトランザクションが発生するたびにデータ ウェアハウスが更新されます。 たとえば、航空会社や鉄道の予約システムなどです。

統合データウェアハウス:

この段階では、オペレーティング システムがトランザクションを実行すると、データ ウェアハウスが継続的に更新されます。 次に、データウェアハウスはトランザクションを生成し、オペレーティング システムに返されます。

データ ウェアハウスのコンポーネント

データ ウェアハウスの XNUMX つのコンポーネントは次のとおりです。

負荷マネージャー: ロード マネージャーはフロント コンポーネントとも呼ばれます。 データの抽出とウェアハウスへのロードに関連するすべての操作を実行します。 これらの操作には、データ ウェアハウスに入力するデータを準備するための変換が含まれます。

倉庫マネージャー: Warehouse manager performs operations associated with the management of the data in the warehouse. It performs operations like analysis of data to ensure consistency, creation of indexes and views, generation of denormalization and aggregations, transformation and merging of source data and archiving and baking-up data.

クエリマネージャー: クエリ マネージャーはバックエンド コンポーネントとしても知られています。 ユーザークエリの管理に関連するすべての操作操作を実行します。 このデータ ウェアハウス コンポーネントの操作は、クエリの実行をスケジュールするための適切なテーブルへの直接クエリです。

エンドユーザーアクセスツール:

これは、1. データ レポート 2. クエリ ツール 3. アプリケーション開発ツール 4. EIS ツール 5. OLAP ツール データマイニングツール.

データ ウェアハウスを必要とするのは誰ですか?

DWH (データ ウェアハウス) は、次のようなあらゆるタイプのユーザーに必要です。

  • 大量のデータに依存する意思決定者
  • カスタマイズされたcomを使用するユーザーplex 複数のデータソースから情報を取得するプロセス。
  • データにアクセスするためのシンプルなテクノロジーを必要とする人々にも使用されます。
  • また、意思決定のための体系的なアプローチを必要とする人々にとっても不可欠です。
  • ユーザーがレポート、グリッド、グラフに必要な大量のデータに対する高速パフォーマンスを望む場合、データ ウェアハウスが役立つことがわかります。
  • データ フローとグループ化の「隠れたパターン」を発見したい場合は、データ ウェアハウスが最初のステップです。

データ ウェアハウスは何に使用されますか?

データ ウェアハウスが使用される最も一般的な分野は次のとおりです。

航空会社:

In the Airline system, it is used for operation purpose like crew assignment, analyses of route profitability, frequent flyer program promoションなど

銀行:

デスク上で利用可能なリソースを効果的に管理するために、銀行業界で広く使用されています。 市場調査、商品や業務のパフォーマンス分析にも利用している銀行はほとんどありません。

健康管理:

ヘルスケア部門もデータ ウェアハウスを使用して、戦略を立てて結果を予測し、患者の治療レポートを作成し、提携保険会社や医療援助サービスなどとデータを共有しました。

公的機関:

公共部門では、データ ウェアハウスは情報収集に使用されます。 これは、政府機関がすべての個人の納税記録や医療政策記録を維持および分析するのに役立ちます。

投資および保険部門:

この分野では、倉庫は主にデータ パターン、顧客傾向を分析し、市場の動きを追跡するために使用されます。

チェーンを保持:

In retail chains, Data warehouse is widely used for distribution and marketing. It also helps to track items, customer buying pattern, promoまた、価格設定ポリシーの決定にも使用されます。

電気通信:

A data warehouse is used in this sector for product promoション、販売決定、流通決定を行うため。

ホスピタリティ産業:

This Industry utilizes warehouse services to design as well as estimate their advertising and promotion campaigns where they want to target clients based on their feedback and travel patterns.

データ ウェアハウスの実装手順

データウェアハウスの実装に関連するビジネス リスクに対処する最善の方法は、次の XNUMX つの戦略を採用することです。

  1. 企業戦略: Here we identify technical including current architecture and tools. We also identify facts, dimensions, and attributes. Data mapping and transformation is also passed.
  2. 段階的な配信: Datawarehouse implementation should be phased based on subject areas. Related business entities like booking and billing should be first implemented and then integrated with each other.
  3. 反復的なプロトタイピング: データウェアハウスは実装に対するビッグバン アプローチではなく、反復的に開発およびテストする必要があります。

ここでは、Datawarehouse 実装の主要な手順とその成果物を示します。

手順 タスク 成果
1 プロジェクトのスコープを定義する必要がある スコープ定義
2 ビジネスニーズを判断する必要がある 論理データ モデル
3 オペレーショナル データストアの要件を定義する オペレーショナルデータストアモデル
4 抽出ツールを取得または開発する 抽出ツールとソフトウェア
5 データ ウェアハウスのデータ要件を定義する 移行データモデル
6 ドキュメントの欠落データ ToDoプロジェクトリスト
7 運用データ ストアをデータ ウェアハウスにマッピング D/Wデータ統合マップ
8 データ ウェアハウス データベース設計の開発 D/Wデータベース設計
9 運用データストアからのデータの抽出 統合された D/W データ抽出
10 データウェアハウスのロード 初期データロード
11 データウェアハウスの保守 進行中のデータアクセスとその後のロード

データ ウェアハウスを実装するためのベスト プラクティス

  • データの一貫性、正確性、完全性をテストする計画を決定します。
  • データ ウェアハウスは適切に統合され、明確に定義され、タイムスタンプが押されている必要があります。
  • Datawarehouse を設計するときは、適切なツールを使用し、ライフサイクルを守り、データの競合に注意し、自分の間違いを認識できるように準備してください。
  • 運用システムやレポートを決して置き換えないでください
  • データの抽出、クリーニング、ロードにあまり時間をかけないでください。
  • データウェアハウスの実装プロセスには、ビジネス担当者を含むすべての関係者を必ず参加させてください。 データ ウェアハウジングが共同/チーム プロジェクトであることを確立します。 エンド ユーザーにとって役に立たないデータ ウェアハウスは作成したくありません。
  • エンドユーザー向けのトレーニング計画を準備します。

データ ウェアハウスが必要な理由メリットとデメリット

データ ウェアハウス (DWH) の利点:

  • データ ウェアハウスを使用すると、ビジネス ユーザーは、いくつかのソースからの重要なデータに XNUMX か所から迅速にアクセスできます。
  • データ ウェアハウスは、部門を超えたさまざまな活動に関する一貫した情報を提供します。 アドホックなレポートとクエリもサポートしています。
  • データ ウェアハウスは、多くのデータ ソースを統合して実稼働システムへのストレスを軽減するのに役立ちます。
  • データ ウェアハウスは、分析とレポートの総所要時間を短縮するのに役立ちます。
  • 再構築と統合により、ユーザーはレポートと分析に使いやすくなります。
  • データ ウェアハウスを使用すると、ユーザーは XNUMX か所にある多数のソースから重要なデータにアクセスできます。 したがって、ユーザーが複数のソースからデータを取得する時間を節約できます。
  • データ ウェアハウスには大量の履歴データが保存されます。 これは、ユーザーがさまざまな期間や傾向を分析して将来の予測を立てるのに役立ちます。

データ ウェアハウスの欠点:

  • 非構造化データには理想的なオプションではありません。
  • データ ウェアハウスの作成と実装は、確かに時間のかかる作業です。
  • データ ウェアハウスは比較的早く古くなってしまう可能性があります
  • データ型と範囲、データ ソース スキーマ、インデックス、クエリを変更するのが難しい。
  • データ ウェアハウスは簡単そうに見えますが、実際には複雑すぎます。plex 平均的なユーザー向け。
  • プロジェクト管理に最善の努力を払っても、データ ウェアハウジング プロジェクトの範囲は常に拡大します。
  • 場合によっては、倉庫ユーザーは異なるビジネス ルールを作成することがあります。
  • 組織はトレーニングと実装の目的に多くのリソースを費やす必要があります。

データ ウェアハウジングの未来

  • の変化 規制上の制約 異種データのソースを結合する機能が制限される可能性があります。 これらの異種ソースには、保存が困難な非構造化データが含まれる場合があります。
  • として サイズ データベースの割合が増加すると、非常に大規模なデータベースを構成するものの推定値も増加し続けます。 コムですplex サイズが常に増大するデータ ウェアハウス システムを構築して実行するため。 現在利用可能なハードウェアおよびソフトウェア リソースでは、大量のデータをオンラインに保持することはできません。
  • マルチメディアデータ テキスト データとして簡単に操作することはできませんが、テキスト情報は現在利用可能なリレーショナル ソフトウェアで取得できます。 これは研究対象になるかもしれません。

データ ウェアハウス ツール

市場には多くのデータ ウェアハウジング ツールが入手可能です。 最も顕著なものをいくつか挙げます。

1.マークロジック:

MarkLogic は、一連のエンタープライズ機能を使用してデータ統合をより簡単かつ迅速に行う、便利なデータ ウェアハウジング ソリューションです。 このツールは非常に優れた com の実行に役立ちます。plex 検索操作。 ドキュメント、関係、メタデータなど、さまざまな種類のデータをクエリできます。

https://www.marklogic.com/product/getting-started/

2. オラクル:

Oracle は業界をリードするデータベースです。 オンプレミスとクラウドの両方で幅広いデータ ウェアハウス ソリューションの選択肢を提供します。 業務効率を向上させ、顧客エクスペリエンスを最適化するのに役立ちます。

https://www.oracle.com/index.html

3. Amazon 赤方偏移:

Amazon Redshift はデータ ウェアハウス ツールです。標準を使用してあらゆる種類のデータを分析できる、シンプルでコスト効率の高いツールです。 SQL および既存の BI ツール。 comを実行することもできますplex クエリ最適化の手法を使用して、ペタバイトの構造化データに対するクエリを実行します。

https://aws.amazon.com/redshift/?nc2=h_m1

ここに便利な機能の完全なリストがあります データウェアハウス ツール。

重要な学習

  • データ ウェアハウス (DWH) は、エンタープライズ データ ウェアハウス (EDW) とも呼ばれます。
  • データ ウェアハウスは、XNUMX つ以上のデータ ソースから情報が取得される中央リポジトリとして定義されます。
  • データ ウェアハウスの主なタイプは、エンタープライズ データ ウェアハウス (EDW)、オペレーショナル データ ストア、およびデータ マートの XNUMX つです。
  • データウェアハウスの一般的な状態には、オフライン運用データベース、オフライン データ ウェアハウス、リアルタイム データ ウェアハウス、および統合データ ウェアハウスがあります。
  • Datawarehouse の XNUMX つの主要コンポーネントは、ロード マネージャー、ウェアハウス マネージャー、クエリ マネージャー、エンドユーザー アクセス ツールです。
  • データウェアハウスは、航空会社、銀行、ヘルスケア、保険、小売などのさまざまな業界で使用されています。
  • Datawarehosue の導入には 3 つの戦略があります viz。 エンタープライズ戦略、段階的デリバリー、反復プロトタイピング。
  • データ ウェアハウスを使用すると、ビジネス ユーザーは、いくつかのソースからの重要なデータに XNUMX か所から迅速にアクセスできます。