Пример за Hadoop MapReduce: Първи Java Програма с Code

⚡ Умно обобщение

Програмите Hadoop MapReduce са написани като три Java класове, мапър, редуктор и драйвер, които се компилират, пакетират в JAR файл и се изпращат към клъстера за преброяване на продажбите по държави.

  • 🔘 Масив от данни: SalesJan2009.csv съдържа по една транзакция на ред, като държавата е в осмата колона, разделена със запетаи.
  • ☑️ Картограф: SalesMapper разделя всеки ред и излъчва страната, сдвоена с константната стойност едно.
  • ✅ редуктор: SalesCountryReducer сумира пристигащите за всяка държава в един брой честоти.
  • 🧪 Driver: SalesCountryDriver именува задачата, декларира типове ключове и стойности и свързва двата класа заедно.
  • 🛠️ Изграждане: Компилирайте с javac, добавете запис в манифеста на Main-Class и след това пакетирайте всичко с jar cfm.
  • ⚠️ Стартирайте: Копирайте CSV файла в HDFS, изпратете jar файла и прочетете part-00000 от изходната директория.

Пример за създаване на първи Hadoop MapReduce Java програма

В този урок ще се научите да използвате Hadoop с примери за MapReduce. Използваните входни данни са SalesJan2009.csvСъдържа информация, свързана с продажбите, като име на продукта, цена, начин на плащане, град и държава на клиента. Целта е да се установи броят на продадените продукти във всяка държава.

Първата програма Hadoop MapReduce

Сега в това Урок за MapReduce, ние ще създадем нашия първи Java Програма MapReduce:

Екранната снимка по-долу показва суровите данни за SalesJan2009, където всеки ред е една транзакция, а държавата се намира в осмата колона, разделена със запетаи.

Данните за продажбите за януари 2009 г. са отворени в електронна таблица, показваща колони от транзакции

Уверете се, че имате инсталиран Hadoop. Преди да започнете самия процес, променете потребителя на „hduser“ (идентификаторът, използван при конфигурирането на Hadoop — можете да превключите към потребителския идентификатор, използван по време на вашата собствена конфигурация на Hadoop).

su - hduser_

Подканата се променя към акаунта hduser, както е показано по-долу.

Терминален подканен прозорец след превключване към акаунта hduser

Стъпка 1) Създайте директорията на проекта и изходните файлове

Създайте нова директория с име MapReduceTutorial, както е показано в примера MapReduce по-долу.

sudo mkdir MapReduceTutorial

Командата mkdir създава директорията MapReduceTutorial

Дайте разрешения

sudo chmod -R 777 MapReduceTutorial

Командата chmod предоставя пълни разрешения на MapReduceTutorial

Създайте трите Java изходните файлове по-долу в MapReduceTutorial. Обърнете внимание, че и трите използват по-стария org.apache.hadoop.mapred API, който все още се доставя с Hadoop 3.x.

SalesMapper.java

package SalesCountry;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.*;

public class SalesMapper extends MapReduceBase implements Mapper <LongWritable, Text, Text, IntWritable> {
	private final static IntWritable one = new IntWritable(1);

	public void map(LongWritable key, Text value, OutputCollector <Text, IntWritable> output, Reporter reporter) throws IOException {

		String valueString = value.toString();
		String[] SingleCountryData = valueString.split(",");
		output.collect(new Text(SingleCountryData[7]), one);
	}
}

SalesCountryReducer.java

package SalesCountry;

import java.io.IOException;
import java.util.*;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.*;

public class SalesCountryReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {

	public void reduce(Text t_key, Iterator<IntWritable> values, OutputCollector<Text,IntWritable> output, Reporter reporter) throws IOException {
		Text key = t_key;
		int frequencyForCountry = 0;
		while (values.hasNext()) {
			// replace type of value with the actual type of our value
			IntWritable value = (IntWritable) values.next();
			frequencyForCountry += value.get();
			
		}
		output.collect(key, new IntWritable(frequencyForCountry));
	}
}

SalesCountryDriver.java

package SalesCountry;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;

public class SalesCountryDriver {
    public static void main(String[] args) {
        JobClient my_client = new JobClient();
        // Create a configuration object for the job
        JobConf job_conf = new JobConf(SalesCountryDriver.class);

        // Set a name of the Job
        job_conf.setJobName("SalePerCountry");

        // Specify data type of output key and value
        job_conf.setOutputKeyClass(Text.class);
        job_conf.setOutputValueClass(IntWritable.class);

        // Specify names of Mapper and Reducer Class
        job_conf.setMapperClass(SalesCountry.SalesMapper.class);
        job_conf.setReducerClass(SalesCountry.SalesCountryReducer.class);

        // Specify formats of the data type of Input and output
        job_conf.setInputFormat(TextInputFormat.class);
        job_conf.setOutputFormat(TextOutputFormat.class);

        // Set input and output directories using command line arguments, 
        //arg[0] = name of input directory on HDFS, and arg[1] =  name of output directory to be created to store the output file.

        FileInputFormat.setInputPaths(job_conf, new Path(args[0]));
        FileOutputFormat.setOutputPath(job_conf, new Path(args[1]));

        my_client.setConf(job_conf);
        try {
            // Run the job 
            JobClient.runJob(job_conf);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Изтеглете файлове тук

Архивът се разширява в същите три изходни файла, както е показано тук.

ExtracАрхив на Ted, в който са включени SalesMapper, SalesCountryReducer и SalesCountryDriver

Проверете файловите разрешения на всички тези файлове

Дълъг списък, показващ разрешенията за файлове на трите Java изходни файлове

Ако липсват разрешения за „четене“, предоставете ги:

командата chmod добавя разрешение за четене към Java изходни файлове

Стъпка 2) Експортиране на пътя към класовете на Hadoop

Експортирайте пътя към класа, както е показано в примера на Hadoop по-долу.

export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:~/MapReduceTutorial/SalesCountry/*:$HADOOP_HOME/lib/*"

Експортираният път към класа се връща обратно в подканата.

Подканата на Shell след експортиране на променливата Hadoop CLASSPATH

Стъпка 3) Компилирайте Java файлове

Компилирайте Java файлове (тези файлове се намират в директорията Final-MapReduceHandsOn). Техните файлове с класове ще бъдат поставени в директорията на пакета.

javac -d . SalesMapper.java SalesCountryReducer.java SalesCountryDriver.java

javac изход, показващ предупреждение за отхвърляне по време на компилация

Това предупреждение може да бъде игнорирано безопасно — то само съобщава, че mapred API е остарял.

Тази компилация ще създаде директория в текущата директория, наречена с името на пакета, посочено в Java изходния файл (т.е. SalesCountry в нашия случай) и поставяме всички компилирани файлове с класове в него.

Директорията на пакета SalesCountry, съдържаща трите компилирани файла с класове

Стъпка 4) Създайте файла на манифеста

Създайте нов файл Manifest.txt

sudo gedit Manifest.txt

Добавете следния ред към него:

Main-Class: SalesCountry.SalesCountryDriver

gedit прозорец, показващ записа Main-Class в Manifest.txt

SalesCountry.SalesCountryDriver е името на основния клас. Моля, обърнете внимание, че трябва да натиснете клавиша Enter в края на този ред.

Стъпка 5) Опаковайте класовете в буркан

Създайте Jar файл

jar cfm ProductSalePerCountry.jar Manifest.txt SalesCountry/*.class

jar команда, изграждаща ProductSalePerCountry.jar от манифеста

Проверете дали jar файлът е създаден

Списък с директории, потвърждаващ създаването на ProductSalePerCountry.jar

Стъпка 6) Стартирайте Hadoop

Стартирайте Hadoop

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Стъпка 7) Копирайте входния файл в HDFS

Копирайте файла SalesJan2009.csv в ~/inputMapReduce

Сега използвайте командата по-долу, за да копирате ~/inputMapReduce в HDFS.

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal ~/inputMapReduce /

Изход на командата copyFromLocal с предупреждение за native-library

Спокойно можем да пренебрегнем това предупреждение.

Проверете дали файлът наистина е копиран или не.

$HADOOP_HOME/bin/hdfs dfs -ls /inputMapReduce

hdfs dfs -ls показва SalesJan2009.csv в директорията inputMapReduce

Стъпка 8) Изпълнете задачата MapReduce

Изпълнете задание MapReduce

$HADOOP_HOME/bin/hadoop jar ProductSalePerCountry.jar /inputMapReduce /mapreduce_output_sales

Изход от конзолата, докато задачата SalePerCountry се изпълнява в клъстера

Това ще създаде изходна директория с име mapreduce_output_sales HDFS. Съдържанието на тази директория ще бъде файл, съдържащ продажбите на продукти по държави.

Стъпка 9) Прочетете резултатите

Резултатът може да се види чрез командния интерфейс като,

$HADOOP_HOME/bin/hdfs dfs -cat /mapreduce_output_sales/part-00000

Двойките държава и брой продажби, отпечатани от командата hdfs dfs -cat

Резултатите могат да се видят и чрез уеб интерфейс като-

отворено http://localhost:50070/ в уеб браузър. В Hadoop 3.x уеб интерфейсът на NameNode се премести в порт 9870, така че използвайте http://localhost:9870/ там вместо това.

Начална страница на уеб интерфейса на NameNode в браузър

Сега изберете „Преглед на файловата система“ и отидете до /mapreduce_output_sales

Файлов браузър на HDFS, показващ директорията mapreduce_output_sales

Отворена част-r-00000

Файлът с резултати part-r-00000 е отворен в браузъра HDFS

Обяснение на клас SalesMapper

След като задачата се изпълнява от край до край, следващите три раздела разглеждат какво всъщност прави всеки клас.

В този раздел ще разберем имплементацията на класа SalesMapper.

1. Започваме, като задаваме име на пакет за нашия клас. SalesCountry е името на нашия пакет. Моля, обърнете внимание, че резултатът от компилацията, SalesMapper.class, ще бъде записан в директория, наречена с това име на пакет: SalesCountry.

След това импортираме библиотечни пакети.

По-долу е показана имплементация на класа SalesMapper -

Изглед на редактора на пълната имплементация на класа SalesMapper

Проба Code Обяснение:

1. Дефиниция на клас SalesMapper-

public class SalesMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {

Всеки клас на мапър трябва да бъде разширен от класа MapReduceBase и трябва да имплементира интерфейса на Mapper.

2. Дефиниране на функцията "карта"-

public void map(LongWritable key,
         Text value,
OutputCollector<Text, IntWritable> output,
Reporter reporter) throws IOException

Основната част на класа Mapper е методът 'map()', който приема четири аргумента.

При всяко извикване на метода 'map()' се предава двойка ключ-стойност („ключ“ и „стойност“ в този код).

Методът 'map()' започва с разделяне на входния текст, който се получава като аргумент. Той разделя всеки ред на полета.

String valueString = value.toString();
String[] SingleCountryData = valueString.split(",");

Тук „,“ се използва като разделител.

След това се формира двойка, използвайки запис на 7-ми индекс на масива „SingleCountryData“ и стойност „1“.

output.collect(new Text(SingleCountryData[7]), one);

Избираме запис на 7-ми индекс, защото ни трябват данни за държавата и той се намира на 7-ми индекс в масива „SingleCountryData“.

Моля, обърнете внимание, че нашите входни данни са във формата по-долу (където държавата е на 7-ми индекс, с 0 като начален индекс) -

Transaction_date,Product,Price,Payment_Type,Name,City,State,Country,Account_Created,Last_Login,Latitude,Longitude

Изходът на mapper отново е двойка ключ-стойност, която се генерира с помощта на метода 'collect()' на 'OutputCollector'.

Обяснение на клас SalesCountryReducer

В този раздел ще разберем имплементацията на класа SalesCountryReducer.

1. Започваме, като задаваме име на пакета за нашия клас. SalesCountry е името на нашия пакет. Моля, обърнете внимание, че резултатът от компилацията, SalesCountryReducer.class, ще бъде прехвърлен в директория, наречена с това име на пакет: SalesCountry.

След това импортираме библиотечни пакети.

По-долу е показана имплементация на класа SalesCountryReducer -

Изглед на редактора на пълната имплементация на класа SalesCountryReducer

Code Обяснение:

1. Дефиниция на клас SalesCountryReducer-

public class SalesCountryReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {

Тук първите два типа данни, „Text“ и „IntWritable“, са типът данни на входната ключ-стойност към редуктора.

Изходът на маппера е във формата , Този изход на мапъра става вход за редуктора. Така че, за да се подравни с неговия тип данни, тук като тип данни се използват Text и IntWritable.

Последните два типа данни, „Text“ и „IntWritable“, са типовете данни на изхода, генериран от редуктора под формата на двойка ключ-стойност.

Всеки клас редуктор трябва да бъде разширен от класа MapReduceBase и трябва да имплементира интерфейса на Reducer.

2. Дефиниране на функцията „намаляване“-

public void reduce( Text t_key,
             Iterator<IntWritable> values,                           
             OutputCollector<Text,IntWritable> output,
             Reporter reporter) throws IOException {

Входът към метода reduce() е ключ със списък от множество стойности.

Например, в нашия случай ще бъде-

, , , , , .

Това се дава на редуктора като

Така че, за да се приемат аргументи от този вид, се използват първите два типа данни, а именно текст и итератор. Текстът е тип данни за ключ и итератор. е тип данни за списък със стойности за този ключ.

Следващият аргумент е от тип OutputCollector който събира изхода на редукторната фаза.

Методът reduce() започва с копиране на стойността на ключа и инициализиране на frequency count на 0.

Text key = t_key;
int frequencyForCountry = 0;

След това, използвайки цикъла „while“, итерираме през списъка със стойности, свързани с ключа, и изчисляваме крайната честота, като сумираме всички стойности.

 while (values.hasNext()) {
            // replace type of value with the actual type of our value
            IntWritable value = (IntWritable) values.next();
            frequencyForCountry += value.get();
            
        }

Сега, изпращаме резултата към изходния колектор под формата на ключ и полученото броене на честоти.

Кодът по-долу прави това-

output.collect(key, new IntWritable(frequencyForCountry));

Обяснение на клас SalesCountryDriver

В този раздел ще разберем имплементацията на класа SalesCountryDriver.

1. Започваме, като задаваме име на пакет за нашия клас. SalesCountry е името на нашия пакет. Моля, обърнете внимание, че резултатът от компилацията, SalesCountryDriver.class, ще бъде записан в директория, наречена с това име на пакет: SalesCountry.

Ето ред, указващ име на пакет, последван от код за импортиране на библиотечни пакети.

Декларация на пакет и оператори за импортиране на SalesCountryDriver

2. Дефинирайте клас драйвер, който ще създаде нова клиентска работа, конфигурационен обект и ще рекламира класове Mapper и Reducer.

Класът на драйвера е отговорен за настройването на нашата задача MapReduce да се изпълнява HadoopВ този клас ние определяме име на задачата, тип данни за вход/изход и имена на класове мапър и редуктор.

Код на драйвера, задаващ името на заданието, класовете ключове и стойности и форматите

3. В кодовия фрагмент по-долу задаваме входни и изходни директории, които се използват съответно за използване на набор от входни данни и генериране на изход.

arg[0] и arg[1] са аргументите от командния ред, подадени с команда, зададена в MapReduce hands-on, т.е.

$HADOOP_HOME/bin/hadoop jar ProductSalePerCountry.jar /inputMapReduce /mapreduce_output_sales

Код на драйвера, предаващ входните и изходните пътища от командния ред

4. Задействайте нашата работа

Кодът по-долу стартира изпълнението на задачата MapReduce -

try {
    // Run the job 
    JobClient.runJob(job_conf);
} catch (Exception e) {
    e.printStackTrace();
}

Въпроси и Отговори

И трите класа импортират org.apache.hadoop.mapred, оригиналния MapReduce API. Hadoop 3.x все още го доставя и изпълнява, но новата работа обикновено се пише спрямо org.apache.hadoop.mapreduce, който замества JobConf и JobClient с Configuration и Job.

Моделите, обучени върху историята на минали задачи, предсказват времето за изпълнение, предлагат размери на разделяне и брой редуктори, и забелязват отклонения преди завършване на изпълнението. Те също така маркират задачи, чиито броячи на разляти записи или неуспешни задачи се отклоняват извън обичайния диапазон.

Copilot изпълнява добре повтарящите се части: сигнатури на класове, генерични типове, импортиране и извиквания за конфигурация на драйвера. Бизнес логиката, като например коя колона съдържа държавата, все още трябва да бъде проверена спрямо реалната схема от разработчик.

Hadoop отказва да записва в съществуваща изходна директория, така че готовите резултати никога да не се презаписват. Изтрийте mapreduce_output_sales рекурсивно с hdfs dfs -rm -r или предоставете различен изходен път при следващото изпълнение.

Инструментът jar игнорира последен ред от манифеста, който няма символ за край на реда, така че Main-Class се премахва безшумно. След това jar файлът се изгражда без грешка, но се проваля по време на изпълнение, защото не е записан main клас.

Да. Примерът закача 2.2.0 във всяко име на jar файл. В друга версия, заменете тази версия или просто използвайте изхода на hadoop classpath, който отпечатва всеки jar файл, от който се нуждае инсталираната дистрибуция.

Не. Псевдоразпределена инсталация с един възел го изпълнява непроменен, защото командите само предполагат, че HDFS и YARN са стартирани. Същият JAR файл се изпраща към реален клъстер с много възли без никаква промяна в кода.

Променете индекса на масива в маппера от 7 на 5, защото City е шестата колона на SalesJan2009.csv. Прекомпилирайте, изградете отново jar файла и изпълнете задачата с нова изходна директория.

Обобщете тази публикация с: