データレイクとデータウェアハウス – それらの違い
デビッドカーター
データ レイクとデータ ウェアハウスの主な違い
- データ レイクはソースやその構造に関係なくすべてのデータを保存しますが、データ ウェアハウスはデータをその属性とともに定量的メトリクスで保存します。
- データ レイクは、巨大な構造化データ、半構造化データ、および非構造化データを保存するストレージ リポジトリであるのに対し、データ ウェアハウスは、データの戦略的使用を可能にするテクノロジとコンポーネントを組み合わせたものです。
- Data Lake ではデータが保存された後にスキーマが定義されますが、Data Warehouse ではデータが保存される前にスキーマが定義されます。
- データ レイクは ELT(Extract Load Transform) プロセスを使用し、データ ウェアハウスは ETL(Extract Transform Load) プロセスを使用します。
- データ レイクとデータ ウェアハウスを比較すると、データ レイクは詳細な分析を求めるユーザーに最適ですが、データ ウェアハウスは運用ユーザーに最適です。
データレイクとは何ですか？
A データレイク は、大量の構造化データ、半構造化データ、および非構造化データを保存できるストレージ リポジトリです。 アカウント サイズやファイルに固定の制限がなく、あらゆる種類のデータをネイティブ形式で保存する場所です。 大量のデータ量を提供して、分析パフォーマンスとネイティブ統合を向上させます。
データレイク 実際の湖や川に非常によく似た大きなコンテナのようなものです。湖と同じように、複数の支流が流れ込んでいます。同様に、データ レイクには構造化データ、非構造化データ、マシン間、ログがリアルタイムで流れています。
データウェアハウスとは何ですか？
データウェアハウス は、データを戦略的に使用するためのテクノロジーとコンポーネントの融合です。さまざまなソースからデータを収集して管理し、有意義なビジネス インサイトを提供します。トランザクション処理ではなく、クエリと分析用に設計された大量の情報の電子ストレージです。データを情報に変換するプロセスです。
次に、データ ウェアハウスとデータ レイクの主な違いを学びます。
データレイクとデータウェアハウスの違い
データ レイクとデータ ウェアハウスの主な違いは次のとおりです。
| 技術パラメータ | データレイク | データウェアハウス |
|---|---|---|
| Storage | データ レイクでは、ソースとその構造に関係なく、すべてのデータが保持されます。 データは生の形式で保持されます。 使用する準備ができた場合にのみ変換されます。 | データ ウェアハウスは、トランザクション システムから抽出されたデータ、またはその属性を含む定量的メトリクスで構成されるデータで構成されます。 データはクリーンアップされ、変換されます |
| 沿革 | ビッグデータ技術 データレイクで使用されるのは比較的新しいものです。 | ビッグデータとは異なり、データ ウェアハウスの概念は数十年にわたって使用されてきました。 |
| データキャプチャ | 半構造化および非構造化を問わず、あらゆる種類のデータと構造をソース システムから元の形式でキャプチャします。 | 構造化された情報を取得し、データ ウェアハウスの目的で定義されたスキーマに整理します。 |
| データのタイムライン | データレイクはすべてのデータを保持できます。 これには、使用中のデータだけでなく、将来使用される可能性のあるデータも含まれます。 また、過去に遡って分析できるよう、データは常に保存されます。 | データ ウェアハウスの開発プロセスでは、さまざまなデータ ソースの分析にかなりの時間が費やされます。 |
| ユーザー | データ レイクは、深い分析を行うユーザーに最適です。 このようなユーザーには、高度な技術を必要とするデータ サイエンティストが含まれます。 分析ツール 予測モデリングや統計分析などの機能を備えています。 | データ ウェアハウスは、構造が適切で使いやすく理解しやすいため、運用ユーザーに最適です。 |
| ストレージコスト | ビッグ データ テクノロジでのデータの保存は、データ ウェアハウスにデータを保存する場合に比べて比較的安価です。 | データ ウェアハウスにデータを保存すると、コストと時間がかかります。 |
| 仕事 | データ レイクには、すべてのデータとデータ型を含めることができます。 これにより、ユーザーは、変換、クレンジング、構造化のプロセスに先立ってデータにアクセスできるようになります。 | データ ウェアハウスは、事前定義されたデータ型に対する事前定義された質問に対する洞察を提供できます。 |
| 処理時間 | データ レイクにより、ユーザーはデータが変換、クレンジング、構造化される前にデータにアクセスできるようになります。そのため、従来のデータ ウェアハウスに比べて、ユーザーはより迅速に結果を得ることができます。 | データ ウェアハウスは、事前定義されたデータ型に対する事前定義された質問に対する洞察を提供します。 そのため、データ ウェアハウスに変更を加えるにはさらに時間がかかりました。 |
| スキーマの位置 | 通常、スキーマはデータが保存された後に定義されます。 これにより、高い俊敏性とデータのキャプチャが容易になりますが、プロセスの最後に作業が必要になります。 | 通常、スキーマはデータを保存する前に定義されます。 プロセスの開始時に作業が必要ですが、パフォーマンス、セキュリティ、統合が提供されます。 |
| データ処理 | データ レイクでは ELT (抽出、読み込み、変換) プロセスを使用します。 | データ ウェアハウスは従来の ETL (抽出変換ロード) プロセス。 |
| 文句を言う | データは生の形式で保持されます。 使用する準備ができた場合にのみ変換されます。 | データ ウェアハウスに対する主な不満は、データ ウェアハウスが機能しないこと、またはデータ ウェアハウスに変更を加えようとしたときに直面する問題です。 |
| ポイント | これらのユーザーは、データ ウェアハウスの機能を超える必要がある可能性があるため、データ ウェアハウスを使用する可能性が低いため、さまざまな種類のデータを統合してまったく新しい質問を考え出します。 | 組織内のほとんどのユーザーは運用担当者です。このタイプのユーザーはレポートと主要なパフォーマンス メトリックのみを重視します。 |
データレイクの概念
データ レイクは、大量の生データを必要になるまで元の形式で保持する大規模なストレージ リポジトリです。 データ レイク内のすべてのデータ要素には一意の識別子が与えられ、一連の拡張メタデータ タグでタグ付けされます。 さまざまな分析機能を提供します。
データ ウェアハウスの概念
データウェアハウス データをファイルまたはフォルダに保存し、データを整理して使用して戦略的な決定を下すのに役立ちます。このストレージ システムは、原子データと要約データの多次元ビューも提供します。実行する必要がある重要な機能は次のとおりです。
- データ抽出
- データクリーニング
- データ変換
- データのロードとリフレッシュ