Hadoop MapReduce の結合とカウンターの例
⚡ スマートサマリー
MapReduceの結合機能は、マッパー内またはリデューサー内で、共有キーに基づいて2つの大きなデータセットを結合します。一方、MapReduceのカウンター機能は、ジョブに関する統計情報を収集し、不良レコードを推測するのではなく測定できるようにします。
MapReduceにおける「Join」とは何ですか?
MapReduceの結合操作は、2つの大きなデータセットを結合するために使用されます。ただし、このプロセスでは、実際の結合操作を実行するために多くのコードを記述する必要があります。2つのデータセットの結合は、まず各データセットのサイズを比較することから始まります。一方のデータセットがもう一方のデータセットよりも小さい場合、小さい方のデータセットがクラスタ内のすべてのデータノードに分散されます。
一度参加すると MapReduce 分散処理の場合、マッパーまたはリデューサーのいずれかが、より小さなデータセットを使用して、大きなデータセットから一致するレコードを検索し、それらのレコードを組み合わせて出力レコードを形成します。
結合の種類
Hadoopにおける結合は、実際に結合が行われる場所によって2種類に分類されます。
- マップサイド結合 マッパーによって結合が実行される場合、それはマップサイド結合と呼ばれます。このタイプでは、マップ関数が実際にデータを使用する前に結合が実行されます。各マップへの入力はパーティションの形式で、ソートされている必要があります。また、パーティションの数は等しくなければならず、結合キーでソートされている必要があります。
- 縮小側結合 結合がリデューサーによって実行される場合、それはリデュース側結合と呼ばれます。この結合では、データセットが構造化された形式(またはパーティション化されている)である必要はありません。ここでは、マップ側処理によって、結合キーと両方のテーブルの対応するタプルが出力されます。この処理の結果、同じ結合キーを持つすべてのタプルが同じリデューサーに送られ、そこで同じ結合キーを持つレコードが結合されます。
Hadoop における結合の全体的なプロセス フローを以下の図に示します。

2つのバリエーションが明確になったところで、次のセクションでは、2つの小さな部門ファイルに対するリデュースサイド結合の手順を説明します。
XNUMX つの DataSet を結合する方法: MapReduce の例
2つの異なるファイルに2つのデータセットが存在します(下図参照)。キー「Dept_ID」は両方のファイルに共通です。MapReduce Joinを使用してこれらのファイルを結合することが目的です。
入力: 入力データセットは、DeptName.txt と DeptStrength.txt という txt ファイルです。
あなたが持っていることを確認してください Hadoopの インストール済みです。MapReduce Join のサンプルを実際に実行する前に、ユーザーを「hduser」(Hadoop 設定時に使用した ID。Hadoop 設定時に使用したユーザー ID に切り替えることができます)に変更してください。
su - hduser_
プロンプトが以下のようにHadoopアカウントに変わります。
ステップ1) zip ファイルを選択した場所にコピーします
ステップ2) ZIP ファイルを解凍します。
sudo tar -xvf MapReduceJoin.tar.gz
extractarがアーカイブを解凍するにつれて、tedファイル名がスクロールして表示されます。
ステップ3) ディレクトリ MapReduceJoin/ に移動します。
cd MapReduceJoin/
ステップ4) Hadoopを開始する
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
どちらのスクリプトも、起動したデーモンを出力します。
ステップ5) DeptStrength.txt および DeptName.txt は、この MapReduce Join サンプル プログラムで使用される入力ファイルです。
これらのファイルはコピーする必要があります HDFS 以下のコマンドを使用します。
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
ステップ6) 以下のコマンドを使用してプログラムを実行します。
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
まずコマンドがエコーされ、その後、ジョブの進行状況がコンソールに報告されます。
ステップ7) 実行後、出力ファイル(「part-00000」という名前)は、HDFS 上のディレクトリ /output_mapreducejoin に保存されます。
コマンドラインインターフェイスを使用して結果を確認できます
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
結果は Web インターフェイス経由でも確認できます。
次に「ファイルシステムの参照」を選択し、/output_mapreducejoin まで移動します。
パートr-00000を開く
結果が表示される
注: 次回このプログラムを実行する前に、出力ディレクトリ /output_mapreducejoin を削除する必要があることに注意してください。
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
別の方法として、出力ディレクトリに別の名前を使用することもできます。
結合はデータの構造を示します。次に説明するカウンターは、そのデータを生成したジョブの動作を示します。
MapReduce のカウンターとは何ですか?
MapReduce のカウンターは、MapReduce ジョブとイベントに関する統計情報を収集および測定するために使用されるメカニズムです。カウンターは、 tracMapReduceにおける様々なジョブ統計情報(発生した操作数や操作の進行状況など)をカウントします。カウンターはMapReduceにおける問題診断に使用されます。
Hadoop カウンターは、マップまたはリデュースのコードにログ メッセージを挿入することに似ています。 この情報は、MapReduce ジョブ処理の問題の診断に役立つ可能性があります。
通常、Hadoop のこれらのカウンターはプログラム (マップまたはリデュース) で定義され、特定のイベントまたは条件 (そのカウンターに固有) が発生すると実行中にインクリメントされます。Hadoop カウンターの非常に優れたアプリケーションは、 trac入力データセットから抽出したk個の有効なレコードと無効なレコード。
MapReduce カウンターの種類
MapReduceカウンターには基本的に2種類あります。
- Hadoopの組み込みカウンター: ジョブごとに存在する組み込みの Hadoop カウンタがいくつかあります。 以下は組み込みのカウンター グループです。
- MapReduce タスクカウンター — 実行中にタスク固有の情報(例:入力レコード数)を収集します。
- ファイルシステムカウンター タスクによって読み取られた、または書き込まれたバイト数などの情報を収集します。
- FileInputFormat カウンター — FileInputFormat を介して読み取られたバイト数の情報を収集します。
- FileOutputFormat カウンター — FileOutputFormat を介して書き込まれたバイト数の情報を収集します。
- ジョブカウンター これらのカウンターは、ジョブに対して開始されたタスクの数など、ジョブ全体の統計情報を記録します。
- ユーザー定義カウンター: 組み込みカウンターに加えて、ユーザーはプログラミング言語が提供する同様の機能を使用して独自のカウンターを定義することもできます。たとえば、 Javaユーザー定義のカウンターを定義するには、「enum」が使用されます。
💡 バージョンノート: ジョブカウンターはジョブによって管理されていましたTracMRv1 では ker が使われていました。YARN ではその役割は MapReduce ApplicationMaster に属するため、カウンター名はそのまま残りますが、それらを報告するコンポーネントが変更されています。
ジョブは無制限の数のカウンターを宣言することはできません。 mapreduce.job.counters.max デフォルトではジョブごとの合計が120に制限され、それ以上を宣言したジョブは失敗します。 LimitExceededExceptionそのため、カウンターはキーごとの集計ではなく、少数の集計シグナルを対象としています。
カウンタの例
欠損値と無効な値の数をカウントするカウンター付きのMapClassの例。このチュートリアルで使用する入力データファイル。入力データセットはCSVファイルSalesJan2009.csvです。
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
上記のコードスニペットは、Hadoop MapReduceにおけるカウンターの実装例を示しています。
ここでは、 販売カウンター ' を使用したカウンターです列挙型これは、欠落している入力レコードと無効な入力レコードをカウントするために使用されます。
コードスニペットでは、もし '国フィールドの長さがゼロの場合、その値は欠落しており、対応するカウンター SalesCounters.MISSING がインクリメントされます。
次に、もし「セールスフィールドが " で始まる場合、レコードは無効とみなされます。これは、カウンター SalesCounters.INVALID をインクリメントすることで示されます。
💡 APIに関する注記: 上記の抜粋はオリジナルを使用しています org.apache.hadoop.mapred APIでは MapReduceBase Mapper インタフェース、 OutputCollector (NAIST) と Reporter 別々に表示されます。現在のコードは、 org.apache.hadoop.mapreduce単一の Context コレクターとレポーターを置き換え、カウンターをインクリメントします。 context.getCounter(SalesCounters.MISSING).increment(1)両者におけるカウンターの概念は同じである。











