Sqoop チュートリアル: Apache Sqoop とは何ですか? Archi構造と例

Hadoop の SQOOP とは何ですか?

Apache SQOOP (SQL-to-Hadoop) は、リレーショナル データベース、エンタープライズ データ ウェアハウス、NoSQL システムなどの構造化データ ストアから HDFS へのデータの一括エクスポートとインポートをサポートするように設計されたツールです。これは、新しい外部システムへの接続を提供するプラグインをサポートするコネクタ アーキテクチャに基づくデータ移行ツールです。

Hadoop Sqoop の使用例は、夜間に Sqoop インポートを実行して、運用トランザクション RDBMS からその日のデータをロードする企業です。 ハイブ さらなる分析のためのデータウェアハウス。

次に、この Apache Sqoop チュートリアルでは、Apache Sqoop アーキテクチャについて学習します。

スクープ Archi構造

既存のすべて データベース管理システム で設計されています SQL 標準を念頭に置いています。 ただし、DBMS ごとに方言が多少異なります。 したがって、この違いは、システム間のデータ転送に関して課題を引き起こします。 Sqoop コネクタは、これらの課題を克服するのに役立つコンポーネントです。

Sqoop Hadoop と外部ストレージ システム間のデータ転送は、Sqoop のコネクタを利用して可能になります。

Sqoop には、次のようなさまざまな一般的なリレーショナル データベースを操作するためのコネクタがあります。 MySQL, PostgreSQL, Oracle、SQL Server、DB2です。これらのコネクタはそれぞれ、関連するDBMSとやり取りする方法を知っています。また、サポートするデータベースに接続するための汎用JDBCコネクタもあります。 JavaのJDBCプロトコル。さらに、Sqoop Big Dataは最適化された MySQL (NAIST) と PostgreSQL データベース固有の API を使用して一括転送を効率的に実行するコネクタ。

これに加えて、ビッグ データの Sqoop には、エンタープライズからデータ ストアまでのさまざまなサードパーティ コネクタがあります。 データウェアハウス (Netezza、Teradata、および Oracle) を NoSQL ストア (Couchbase など) に転送します。ただし、これらのコネクタには Sqoop バンドルは付属していません。これらは個別にダウンロードする必要があり、既存の Sqoop インストールに簡単に追加できます。

なぜ Sqoop が必要なのでしょうか?

Hadoop を使用した分析処理では、さまざまなソースから大量のデータを Hadoop クラスターにロードする必要があります。異種ソースから大量のデータを Hadoop にロードして処理するこのプロセスには、いくつかの課題が伴います。データの一貫性を維持して確保し、リソースを効率的に利用できるようにするなど、データ ロードの適切なアプローチを選択する前に考慮すべき要素がいくつかあります。

主要課題：

1. スクリプトを使用したデータロード

スクリプトを使用してデータをロードする従来のアプローチは、Hadoop への一括データのロードには適していません。 このアプローチは非効率的で、非常に時間がかかります。

2. Map-Reduce アプリケーションを介した外部データへの直接アクセス

マップリデュース アプリケーションに対して (Hadoop にロードせずに) 外部システムに存在するデータへの直接アクセスを提供すると、これらのアプリケーションが複雑になります。 したがって、このアプローチは実現不可能です。

3. Hadoop は膨大なデータを扱う能力に加え、さまざまな形式のデータを扱うことができます。そのため、このような異種データを Hadoop にロードするために、さまざまなツールが開発されてきました。 スクープ (NAIST) と 用水路 は、そのようなデータ読み込みツールの XNUMX つです。

次に、例を示したこの Sqoop チュートリアルでは、Sqoop、Flume、HDFS の違いについて学びます。

Hadoop における Sqoop 対 Flume 対 HDFS