Hadoop MapReduce の結合とカウンターの例

⚡ スマートサマリー

MapReduceの結合機能は、マッパー内またはリデューサー内で、共有キーに基づいて2つの大きなデータセットを結合します。一方、MapReduceのカウンター機能は、ジョブに関する統計情報を収集し、不良レコードを推測するのではなく測定できるようにします。

  • 🔘 基本事項に参加する: 2つのデータセットのうち小さい方がすべてのデータノードに配布され、参照側として使用されます。
  • ☑️ マップ側結合: マップ関数を実行する前に、各入力を結合キーに基づいて均等に分割し、ソートする必要があります。
  • ✅ 縮小側結合: パーティショニングは不要です。なぜなら、結合キーを共有するすべてのタプルは同じリデューサーに渡されるからです。
  • 🧪 実例: DeptName.txtとDeptStrength.txtはHDFSにコピーされ、パッケージ化されたjarファイルによってDept_IDで結合されます。
  • 🛠️ カウンターの種類: 5 つの組み込みカウンター グループがすべてのジョブに付属しており、ユーザー定義カウンターは次のように宣言されます。 Java 列挙型。
  • ⚠️ カウンターでの使用: 欠落または無効なレコードごとにカウンターをインクリメントすることで、データ品質の問題がジョブレポート上の数値として表示されるようになります。

Hadoop MapReduceの結合とカウンターに関するチュートリアル(実例付き)

MapReduceにおける「Join」とは何ですか?

MapReduceの結合操作は、2つの大きなデータセットを結合するために使用されます。ただし、このプロセスでは、実際の結合操作を実行するために多くのコードを記述する必要があります。2つのデータセットの結合は、まず各データセットのサイズを比較することから始まります。一方のデータセットがもう一方のデータセットよりも小さい場合、小さい方のデータセットがクラスタ内のすべてのデータノードに分散されます。

一度参加すると MapReduce 分散処理の場合、マッパーまたはリデューサーのいずれかが、より小さなデータセットを使用して、大きなデータセットから一致するレコードを検索し、それらのレコードを組み合わせて出力レコードを形成します。

結合の種類

Hadoopにおける結合は、実際に結合が行われる場所によって2種類に分類されます。

  1. マップサイド結合 マッパーによって結合が実行される場合、それはマップサイド結合と呼ばれます。このタイプでは、マップ関数が実際にデータを使用する前に結合が実行されます。各マップへの入力はパーティションの形式で、ソートされている必要があります。また、パーティションの数は等しくなければならず、結合キーでソートされている必要があります。
  2. 縮小側結合 結合がリデューサーによって実行される場合、それはリデュース側結合と呼ばれます。この結合では、データセットが構造化された形式(またはパーティション化されている)である必要はありません。ここでは、マップ側処理によって、結合キーと両方のテーブルの対応するタプルが出力されます。この処理の結果、同じ結合キーを持つすべてのタプルが同じリデューサーに送られ、そこで同じ結合キーを持つレコードが結合されます。

Hadoop における結合の全体的なプロセス フローを以下の図に示します。

Hadoopにおけるマップ側結合とリデュース側結合を比較したプロセスフロー図
Hadoop MapReduce の結合の種類

2つのバリエーションが明確になったところで、次のセクションでは、2つの小さな部門ファイルに対するリデュースサイド結合の手順を説明します。

XNUMX つの DataSet を結合する方法: MapReduce の例

2つの異なるファイルに2つのデータセットが存在します(下図参照)。キー「Dept_ID」は両方のファイルに共通です。MapReduce Joinを使用してこれらのファイルを結合することが目的です。

最初の入力ファイルには、部門名とともに部門IDが記載されています。

1ファイル
部門IDと部門の​​強さの値を一覧にした2番目の入力ファイル

2ファイル

入力: 入力データセットは、DeptName.txt と DeptStrength.txt という txt ファイルです。

ここから入力ファイルをダウンロード

あなたが持っていることを確認してください Hadoopの インストール済みです。MapReduce Join のサンプルを実際に実行する前に、ユーザーを「hduser」(Hadoop 設定時に使用した ID。Hadoop 設定時に使用したユーザー ID に切り替えることができます)に変更してください。

su - hduser_

プロンプトが以下のようにHadoopアカウントに変わります。

suコマンドでhduserアカウントに切り替えた後のターミナル

ステップ1) zip ファイルを選択した場所にコピーします

ダウンロードした MapReduceJoin アーカイブを選択した作業ディレクトリに配置します。

ステップ2) ZIP ファイルを解凍します。

sudo tar -xvf MapReduceJoin.tar.gz

extractarがアーカイブを解凍するにつれて、tedファイル名がスクロールして表示されます。

コンソールでのファイル一覧表示例tracMapReduceJoin.tar.gz から ted を取得

ステップ3) ディレクトリ MapReduceJoin/ に移動します。

cd MapReduceJoin/

MapReduceJoin ディレクトリに移動した後のシェルプロンプト

ステップ4) Hadoopを開始する

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

どちらのスクリプトも、起動したデーモンを出力します。

HDFSおよびYARNデーモンスクリプトからの起動メッセージ

ステップ5) DeptStrength.txt および DeptName.txt は、この MapReduce Join サンプル プログラムで使用される入力ファイルです。

これらのファイルはコピーする必要があります HDFS 以下のコマンドを使用します。

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

両方の入力テキストファイルがHDFSルートディレクトリにコピーされました。

ステップ6) 以下のコマンドを使用してプログラムを実行します。

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

まずコマンドがエコーされ、その後、ジョブの進行状況がコンソールに報告されます。

コマンドラインからパッケージ化された MapReduceJoin jar ファイルを起動する

コンソール出力 tracMapReduce結合ジョブの進捗状況

ステップ7) 実行後、出力ファイル(「part-00000」という名前)は、HDFS 上のディレクトリ /output_mapreducejoin に保存されます。

コマンドラインインターフェイスを使用して結果を確認できます

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

猫コマンドによってHDFSから印刷された参加部門記録

結果は Web インターフェイス経由でも確認できます。

Hadoop Webインターフェースのランディングページは、ファイルシステムブラウザにアクセスするために使用されます。

次に「ファイルシステムの参照」を選択し、/output_mapreducejoin まで移動します。

HDFSファイルシステムビューを参照してoutput_mapreducejoinディレクトリに移動します。

パートr-00000を開く

ブラウザビュー内でpart-r-00000出力ファイルを選択します。

結果が表示される

ブラウザに、参加した部署名と部署の規模を示す行が表示されます。

注: 次回このプログラムを実行する前に、出力ディレクトリ /output_mapreducejoin を削除する必要があることに注意してください。

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

別の方法として、出力ディレクトリに別の名前を使用することもできます。

結合はデータの構造を示します。次に説明するカウンターは、そのデータを生成したジョブの動作を示します。

MapReduce のカウンターとは何ですか?

MapReduce のカウンターは、MapReduce ジョブとイベントに関する統計情報を収集および測定するために使用されるメカニズムです。カウンターは、 tracMapReduceにおける様々なジョブ統計情報(発生した操作数や操作の進行状況など)をカウントします。カウンターはMapReduceにおける問題診断に使用されます。

Hadoop カウンターは、マップまたはリデュースのコードにログ メッセージを挿入することに似ています。 この情報は、MapReduce ジョブ処理の問題の診断に役立つ可能性があります。

通常、Hadoop のこれらのカウンターはプログラム (マップまたはリデュース) で定義され、特定のイベントまたは条件 (そのカウンターに固有) が発生すると実行中にインクリメントされます。Hadoop カウンターの非常に優れたアプリケーションは、 trac入力データセットから抽出したk個の有効なレコードと無効なレコード。

MapReduce カウンターの種類

MapReduceカウンターには基本的に2種類あります。

  1. Hadoopの組み込みカウンター: ジョブごとに存在する組み込みの Hadoop カウンタがいくつかあります。 以下は組み込みのカウンター グループです。
    • MapReduce タスクカウンター — 実行中にタスク固有の情報(例:入力レコード数)を収集します。
    • ファイルシステムカウンター タスクによって読み取られた、または書き込まれたバイト数などの情報を収集します。
    • FileInputFormat カウンター — FileInputFormat を介して読み取られたバイト数の情報を収集します。
    • FileOutputFormat カウンター — FileOutputFormat を介して書き込まれたバイト数の情報を収集します。
    • ジョブカウンター これらのカウンターは、ジョブに対して開始されたタスクの数など、ジョブ全体の統計情報を記録します。
  2. ユーザー定義カウンター: 組み込みカウンターに加えて、ユーザーはプログラミング言語が提供する同様の機能を使用して独自のカウンターを定義することもできます。たとえば、 Javaユーザー定義のカウンターを定義するには、「enum」が使用されます。

💡 バージョンノート: ジョブカウンターはジョブによって管理されていましたTracMRv1 では ker が使われていました。YARN ではその役割は MapReduce ApplicationMaster に属するため、カウンター名はそのまま残りますが、それらを報告するコンポーネントが変更されています。

ジョブは無制限の数のカウンターを宣言することはできません。 mapreduce.job.counters.max デフォルトではジョブごとの合計が120に制限され、それ以上を宣言したジョブは失敗します。 LimitExceededExceptionそのため、カウンターはキーごとの集計ではなく、少数の集計シグナルを対象としています。

カウンタの例

欠損値と無効な値の数をカウントするカウンター付きのMapClassの例。このチュートリアルで使用する入力データファイル。入力データセットはCSVファイルSalesJan2009.csvです。

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

上記のコードスニペットは、Hadoop MapReduceにおけるカウンターの実装例を示しています。

ここでは、 販売カウンター ' を使用したカウンターです列挙型これは、欠落している入力レコードと無効な入力レコードをカウントするために使用されます。

コードスニペットでは、もし '国フィールドの長さがゼロの場合、その値は欠落しており、対応するカウンター SalesCounters.MISSING がインクリメントされます。

次に、もし「セールスフィールドが " で始まる場合、レコードは無効とみなされます。これは、カウンター SalesCounters.INVALID をインクリメントすることで示されます。

💡 APIに関する注記: 上記の抜粋はオリジナルを使用しています org.apache.hadoop.mapred APIでは MapReduceBase Mapper インタフェース、 OutputCollector (NAIST) と Reporter 別々に表示されます。現在のコードは、 org.apache.hadoop.mapreduce単一の Context コレクターとレポーターを置き換え、カウンターをインクリメントします。 context.getCounter(SalesCounters.MISSING).increment(1)両者におけるカウンターの概念は同じである。

よくあるご質問

片側のデータが小さく、すべてのノードのメモリに保持できる場合は、シャッフル処理を完全に省略できるマッパー方式を選択してください。両側のデータが大きい場合やソートされていない場合は、リデューサー方式を選択し、追加のネットワークコストを受け入れてください。

モデルは過去のジョブ履歴から学習し、実行時間を予測したり、分割サイズやリデューサー数を推奨したり、カウンター値から偏りを検出したりします。また、スピルレコード数やタスク失敗数のカウンターがそのパイプラインの通常の範囲から外れているジョブにもフラグを立てます。

Copilotはもっともらしいマッパーとリデューサーのスケルトンを生成しますが、古いmapredパッケージと新しいmapreduceパッケージを1つのクラス内で混在させているため、コンパイルエラーが発生します。ロジックを信頼する前に、インポートとメソッドシグネチャを修正してください。

これは、タスク開始前に小さなファイルを各ノードに送信する仕組みです。各マッパーは、そのコピーをハッシュマップにロードし、ローカルで一致するものを検索します。これにより、マッパー側での結合が可能になります。

これらはジョブ完了時にコンソールサマリーに表示され、ジョブ履歴およびリソースマネージャのWebページにも公開され、ジョブオブジェクトからプログラム的に読み取ることができるため、ドライバはこれらに基づいてアサーションを行い、不良実行を失敗させることができます。

単一のContextオブジェクト。OutputCollectorとReporterが分担していた処理をこのオブジェクトが担うため、出力の書き込みやカウンターのインクリメントは、mapメソッドに渡される同じハンドルを通して行われます。

ほとんどの報道業務では、いいえ。 HiveQL 参加 数行で同じシャッフルとマージのパターンにコンパイルされます。マージロジックがSQL句に収まらない場合は、手書きのジョブを作成する価値があります。

Hadoopは既に存在する出力ディレクトリへの書き込みを拒否します。これは、処理完了後の結果が上書きされるのを防ぐためです。まずディレクトリを再帰的に削除するか、次回の実行時に別の出力パスを指定してください。