Hadoopとは何ですか?導入、 Archi構造、エコシステム、コンポーネント

Hadoop とは何ですか?

Apache Hadoop は、分散コンピューティング環境で実行されるデータ処理アプリケーションの開発に使用されるオープンソースソフトウェアフレームワークです。

HADOOP を使用して構築されたアプリケーションは、コモディティコンピュータのクラスターに分散された大規模なデータセット上で実行されます。コモディティコンピュータは安価で、広く入手可能です。これらは主に、低コストでより高い計算能力を実現するのに便利です。

パーソナルコンピュータシステムのローカルファイルシステムにデータが存在するのと同様に、Hadoop では、データは分散ファイルシステムに存在します。 Hadoop 分散ファイルシステム。処理モデルは以下に基づいています 「データの局所性」 計算ロジックがデータを含むクラスタノード（サーバー）に送信されるという概念。この計算ロジックは、次のような高水準言語で記述されたプログラムのコンパイル版に他なりません。 Javaこのようなプログラムは、 Hadoop HDFS.

あなたは知っていますか？ コンピュータクラスターは、相互に接続され、単一のシステムとして機能する複数の処理ユニット (ストレージディスク + プロセッサ) のセットで構成されます。

Hadoop エコシステムとコンポーネント

下の図はHadoopエコシステムのさまざまなコンポーネントを示しています。

Apache Hadoop は XNUMX つのサブプロジェクトで構成されています。

Hadoop MapReduce: MapReduce は、Hadoop 上で実行されるアプリケーションを作成するための計算モデルおよびソフトウェアフレームワークです。これらの MapReduce プログラムは、計算ノードの大規模なクラスターで膨大なデータを並列処理できます。
HDFS (Hadoop分散ファイルシステム): HDFS は Hadoop アプリケーションのストレージ部分を処理します。MapReduce アプリケーションは HDFS からデータを消費します。HDFS はデータブロックの複数のレプリカを作成し、クラスター内のコンピューティングノードに分散します。この分散により、信頼性が高く、非常に高速な計算が可能になります。

Hadoop は、MapReduce とその分散ファイルシステムである HDFS で最もよく知られていますが、この用語は、分散コンピューティングと大規模データ処理の傘下にある一連の関連プロジェクトにも使用されます。その他の Hadoop 関連プロジェクト: アパッチ含まれます Hive、HBase、Mahout、Sqoop、Flume、および ZooKeeper。

Hadoopの Archi構造

Hadoop にはマスター/スレーブがあります Archiデータストレージと分散データ処理のための技術 MapReduce および HDFS 方式。

NameNode：

NameNode は、名前空間で使用されるすべてのファイルとディレクトリを表しました

DataNode：

DataNode を使用すると、HDFS ノードの状態を管理し、ブロックと対話できるようになります。

マスターノード:

マスターノードを使用すると、Hadoop MapReduce を使用してデータの並列処理を実行できます。

スレーブノード:

スレーブノードは、Hadoop クラスター内の追加のマシンであり、複雑な計算を実行するためにデータを保存できます。さらに、すべてのスレーブノードには、タスクトラッカーとデータノードが付属しています。これにより、プロセスをそれぞれネームノードとジョブトラッカーと同期できます。

Hadoop では、マスターまたはスレーブシステムをクラウドまたはオンプレミスにセットアップできます。

「Hadoop」の特徴

• ビッグデータ分析に最適

ビッグデータは分散型で非構造化されている傾向があるため、ビッグデータの分析にはHADOOPクラスタが最適です。コンピューティングノードに流れるのは処理ロジック（実際のデータではない）なので、消費されるネットワーク帯域幅が少なくなります。この概念は次のように呼ばれています。 データの局所性の概念 これは、Hadoop ベースのアプリケーションの効率を向上させるのに役立ちます。

•スケーラビリティ

HADOOP クラスターは、クラスターノードを追加することで簡単に任意の範囲に拡張できるため、ビッグデータの増加に対応できます。また、拡張にはアプリケーションロジックの変更は必要ありません。

• フォールトトレランス

HADOOP エコシステムには、入力データを他のクラスターノードに複製する機能があります。これにより、クラスターノードに障害が発生した場合でも、別のクラスターノードに保存されているデータを使用してデータ処理を続行できます。

Hadoop のネットワークトポロジ

ネットワークのトポロジ（配置）は、Hadoop クラスターのサイズが大きくなると、Hadoop クラスターのパフォーマンスに影響します。パフォーマンスに加えて、高可用性と障害処理にも注意する必要があります。これを実現するために、Hadoop ではクラスター形成にネットワークトポロジを活用します。

通常、ネットワーク帯域幅は、ネットワークを形成する際に考慮すべき重要な要素です。ただし、帯域幅の測定は難しいため、Hadoop では、ネットワークはツリーとして表され、このツリーのノード間の距離 (ホップ数) が Hadoop クラスターの形成における重要な要素と見なされます。ここで、2 つのノード間の距離は、それらの最も近い共通祖先までの距離の合計に等しくなります。

Hadoop クラスターは、データセンター、ラック、および実際にジョブを実行するノードで構成されます。ここで、データセンターはラックで構成され、ラックはノードで構成されます。プロセスに使用できるネットワーク帯域幅は、プロセスの場所によって異なります。つまり、離れるほど、使用できる帯域幅は少なくなります。

同じノード上のプロセス
同じラック上の異なるノード
同じデータセンターの異なるラック上のノード
異なるデータセンターのノード