Hadoop MapReduce Join & Counter с пример
⚡ Умно обобщение
MapReduce съединенията комбинират два големи набора от данни върху споделен ключ, или вътре в маппера, или вътре в редуктора, докато MapReduce броячите събират статистика за задачата, така че лошите записи да могат да бъдат измерени, а не да се гадаят.
Какво е „Join“ в MapReduce?
Операцията MapReduce Join се използва за комбиниране на два големи набора от данни. Този процес обаче включва писане на много код за извършване на действителната операция по съединяване. Съединяването на два набора от данни започва със сравняване на размера на всеки набор от данни. Ако единият набор от данни е по-малък в сравнение с другия набор от данни, тогава по-малкият набор от данни се разпределя към всеки възел с данни в клъстера.
След като се присъедините MapReduce е разпределен, или Mapper, или Reducer използва по-малкия набор от данни, за да извърши търсене на съвпадащи записи от големия набор от данни и след това комбинира тези записи, за да формира изходни записи.
Видове присъединяване
В зависимост от мястото, където се извършва действителното съединение, съединенията в Hadoop се класифицират в два вида.
- Съединение от страната на картата — Когато съединението се извършва от маппера, то се нарича съединение от страната на мапването. При този тип съединението се извършва преди данните действително да бъдат консумирани от функцията map. Задължително е входът към всяко мапване да е под формата на дял и да е в сортиран ред. Също така, трябва да има равен брой дялове и те трябва да бъдат сортирани по ключа за съединение.
- Съединяване от страна на редуциране — Когато съединението се извършва от редуктора, то се нарича съединение от страна на редуктора. При това съединение не е необходимо наборът от данни да е в структурирана форма (или разделен). Тук обработката от страна на картата генерира ключа за съединение и съответните кортежи на двете таблици. В резултат на тази обработка всички кортежи с един и същ ключ за съединение попадат в един и същ редуктор, който след това съединява записите с един и същ ключ за съединение.
Цялостният процес на присъединяване в Hadoop е изобразен на диаграмата по-долу.

След като двата варианта са изяснени, следващият раздел разглежда съединение от страна на редукция на два малки файла на отдела.
Как да съедините два набора от данни: Пример за MapReduce
Има два набора от данни в два различни файла (показани по-долу). Ключът Dept_ID е общ и в двата файла. Целта е да се използва MapReduce Join за комбиниране на тези файлове.
Вход: Входният набор от данни е txt файл, DeptName.txt и DeptStrength.txt
Изтеглете входните файлове от тук
Уверете се, че имате Hadoop инсталиран. Преди да започнете с примерния процес на MapReduce Join, променете потребителя на „hduser“ (идентификатор, използван по време на конфигурацията на Hadoop, можете да превключите към потребителския идентификатор, използван по време на вашата конфигурация на Hadoop).
su - hduser_
Подканата се променя към акаунта на Hadoop, както е показано по-долу.
Стъпка 1) Копирайте zip файла на местоположението по ваш избор
Стъпка 2) Разкомпресирайте Zip файла
sudo tar -xvf MapReduceJoin.tar.gz
БившиятtracИмената на файловете с ted превъртат, докато tar разархивира архива.
Стъпка 3) Отидете в директорията MapReduceJoin/
cd MapReduceJoin/
Стъпка 4) Стартирайте Hadoop
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
И двата скрипта отпечатват демоните, които извеждат.
Стъпка 5) DeptStrength.txt и DeptName.txt са входните файлове, използвани за тази примерна програма MapReduce Join.
Тези файлове трябва да бъдат копирани в HDFS използвайки командата по-долу -
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
Стъпка 6) Стартирайте програмата, като използвате командата по-долу-
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
Командата се повтаря първо, а след това задачата докладва за напредъка си в конзолата.
Стъпка 7) След изпълнение, изходният файл (с име 'part-00000') ще бъде съхранен в директорията /output_mapreducejoin на HDFS.
Резултатите могат да се видят с помощта на интерфейса на командния ред
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
Резултатите могат да се видят и чрез уеб интерфейс като-
Сега изберете „Преглед на файловата система“ и отидете до /output_mapreducejoin
Отворена част-r-00000
Показани са резултатите
ЗАБЕЛЕЖКА: Моля, обърнете внимание, че преди да стартирате тази програма за следващ път, ще трябва да изтриете изходната директория /output_mapreducejoin
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
Алтернатива е да използвате различно име за изходната директория.
Съединенията ви показват как изглеждат данните. Броячите, разгледани по-долу, ви показват как се е държала задачата, която ги е създала.
Какво е брояч в MapReduce?
Броячът в MapReduce е механизъм, използван за събиране и измерване на статистическа информация за задачи и събития на MapReduce. Броячите поддържат track различни статистики за задачи в MapReduce, като брой извършени операции и напредък на операцията. Броячите се използват за диагностика на проблеми в MapReduce.
Броячите на Hadoop са подобни на поставянето на лог съобщение в кода за карта или намаляване. Тази информация може да бъде полезна за диагностициране на проблем при обработката на задание на MapReduce.
Обикновено тези броячи в Hadoop са дефинирани в програма (map или reduce) и се увеличават по време на изпълнение, когато възникне определено събитие или условие (специфично за този брояч). Много добро приложение на Hadoop броячите е да track валидни и невалидни записи от входен набор от данни.
Видове броячи MapReduce
Има основно 2 вида MapReduce броячи
- Вградени броячи на Hadoop: Има някои вградени броячи на Hadoop, които съществуват за всяка задача. По-долу са вградените групи броячи -
- Броячи на задачи на MapReduce — Събира специфична за задачата информация (напр. брой входни записи) по време на нейното изпълнение.
- Броячи на файловата система — Събира информация като брой байтове, прочетени или записани от задача.
- Броячи на FileInputFormat — Събира информация за определен брой байтове, прочетени чрез FileInputFormat.
- Броячи на FileOutputFormat — Събира информация за определен брой байтове, записани чрез FileOutputFormat.
- Броячи на задачи — Тези броячи записват статистика за цялата задача, като например броя на стартираните задачи за дадена задача.
- Потребителски дефинирани броячи: В допълнение към вградените броячи, потребителят може да дефинира свои собствени броячи, използвайки подобни функционалности, предоставяни от езиците за програмиране. Например, в Java, „изброяване“ се използва за дефиниране на потребителски дефинирани броячи.
💡 Бележка към версията: броячите на задачи се поддържаха от JobTracker под MRv1. В YARN тази роля принадлежи на MapReduce ApplicationMaster, така че имената на броячите се запазват, но компонентът, който ги отчита, се е променил.
Една задача не може да декларира неограничен брой броячи. mapreduce.job.counters.max настройката ограничава общия брой на задача до 120 по подразбиране, а задача, която декларира повече, се проваля с LimitExceededException, така че броячите са предназначени за шепа агрегирани сигнали, а не за преброявания по ключове.
Пример за броячи
Примерен MapClass с броячи за преброяване на липсващите и невалидните стойности. Входен файл с данни, използван в този урок. Нашият набор от входни данни е CSV файл, SalesJan2009.csv
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
Горният фрагмент от код показва примерна имплементация на броячи в Hadoop MapReduce.
Тук Броячи за продажби е брояч, дефиниран с помощта на 'преброяване'. Използва се за преброяване на ЛИПСВАЩИ и НЕВАЛИДНИ входни записи.'
В кодовия фрагмент, ако 'държава' полето е с нулева дължина, тогава стойността му липсва и следователно съответният брояч SalesCounters.MISSING се увеличава.
След това, ако 'търговски' започва с „, тогава записът се счита за НЕВАЛИДЕН. Това се обозначава чрез увеличаване на брояча SalesCounters.INVALID.
💡 Забележка за API: горният фрагмент използва оригинала org.apache.hadoop.mapred API, където MapReduceBase- Mapper интерфейс, OutputCollector намлява Reporter се появяват отделно. Текущият код е написан спрямо org.apache.hadoop.mapreduce, където един единствен Context замества колектора и репортера, а броячът се увеличава с context.getCounter(SalesCounters.MISSING).increment(1)Концепцията за брояч е идентична и в двата случая.











