Hadoop MapReduce Join & Counter с пример

⚡ Умно обобщение

MapReduce съединенията комбинират два големи набора от данни върху споделен ключ, или вътре в маппера, или вътре в редуктора, докато MapReduce броячите събират статистика за задачата, така че лошите записи да могат да бъдат измерени, а не да се гадаят.

  • 🔘 Основи на присъединяването: По-малкият от двата набора от данни се разпределя към всеки възел с данни и се използва като страна за търсене.
  • ☑️ Присъединяване от страната на картата: Изисква всеки вход да бъде разделен, равномерно разделен и сортиран по ключа за свързване, преди да се изпълни функцията map.
  • ✅ Съединяване от страна на редуциране: Не е необходимо разделяне, защото всеки кортеж, споделящ ключ за свързване, попада в един и същ редуктор.
  • 🧪 Разработен пример: DeptName.txt и DeptStrength.txt се копират в HDFS и се свързват с Dept_ID чрез пакетиран jar файл.
  • 🛠️ Видове броячи: Пет вградени групи броячи се доставят с всяка задача, а потребителски дефинираните броячи са декларирани като Java изброяване.
  • ⚠️ Използване на брояч: Увеличаването на брояча за всеки липсващ или невалиден запис превръща проблемите с качеството на данните в число в отчета за заданието.

Урок за Hadoop MapReduce join и counter с работен пример

Какво е „Join“ в MapReduce?

Операцията MapReduce Join се използва за комбиниране на два големи набора от данни. Този процес обаче включва писане на много код за извършване на действителната операция по съединяване. Съединяването на два набора от данни започва със сравняване на размера на всеки набор от данни. Ако единият набор от данни е по-малък в сравнение с другия набор от данни, тогава по-малкият набор от данни се разпределя към всеки възел с данни в клъстера.

След като се присъедините MapReduce е разпределен, или Mapper, или Reducer използва по-малкия набор от данни, за да извърши търсене на съвпадащи записи от големия набор от данни и след това комбинира тези записи, за да формира изходни записи.

Видове присъединяване

В зависимост от мястото, където се извършва действителното съединение, съединенията в Hadoop се класифицират в два вида.

  1. Съединение от страната на картата — Когато съединението се извършва от маппера, то се нарича съединение от страната на мапването. При този тип съединението се извършва преди данните действително да бъдат консумирани от функцията map. Задължително е входът към всяко мапване да е под формата на дял и да е в сортиран ред. Също така, трябва да има равен брой дялове и те трябва да бъдат сортирани по ключа за съединение.
  2. Съединяване от страна на редуциране — Когато съединението се извършва от редуктора, то се нарича съединение от страна на редуктора. При това съединение не е необходимо наборът от данни да е в структурирана форма (или разделен). Тук обработката от страна на картата генерира ключа за съединение и съответните кортежи на двете таблици. В резултат на тази обработка всички кортежи с един и същ ключ за съединение попадат в един и същ редуктор, който след това съединява записите с един и същ ключ за съединение.

Цялостният процес на присъединяване в Hadoop е изобразен на диаграмата по-долу.

Диаграма на потока на процеса, сравняваща съединение от страна на картата с съединение от страна на редукцията в Hadoop
Типове обединения в Hadoop MapReduce

След като двата варианта са изяснени, следващият раздел разглежда съединение от страна на редукция на два малки файла на отдела.

Как да съедините два набора от данни: Пример за MapReduce

Има два набора от данни в два различни файла (показани по-долу). Ключът Dept_ID е общ и в двата файла. Целта е да се използва MapReduce Join за комбиниране на тези файлове.

Първият входен файл изброява идентификаторите на отдели заедно с имената на отделите

Файл 1
Вторият входен файл изброява идентификационните номера на отделите, както и стойностите за силата на отделите.

Файл 2

Вход: Входният набор от данни е txt файл, DeptName.txt и DeptStrength.txt

Изтеглете входните файлове от тук

Уверете се, че имате Hadoop инсталиран. Преди да започнете с примерния процес на MapReduce Join, променете потребителя на „hduser“ (идентификатор, използван по време на конфигурацията на Hadoop, можете да превключите към потребителския идентификатор, използван по време на вашата конфигурация на Hadoop).

su - hduser_

Подканата се променя към акаунта на Hadoop, както е показано по-долу.

Терминал след превключване към акаунта hduser с командата su

Стъпка 1) Копирайте zip файла на местоположението по ваш избор

Изтеглен архив на MapReduceJoin, поставен в избраната работна директория

Стъпка 2) Разкомпресирайте Zip файла

sudo tar -xvf MapReduceJoin.tar.gz

БившиятtracИмената на файловете с ted превъртат, докато tar разархивира архива.

Изброяване на файлове в конзолата, напримерtracted от MapReduceJoin.tar.gz

Стъпка 3) Отидете в директорията MapReduceJoin/

cd MapReduceJoin/

Shell prompt след преминаване в директорията MapReduceJoin

Стъпка 4) Стартирайте Hadoop

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

И двата скрипта отпечатват демоните, които извеждат.

Съобщения при стартиране от скриптовете на демоните HDFS и YARN

Стъпка 5) DeptStrength.txt и DeptName.txt са входните файлове, използвани за тази примерна програма MapReduce Join.

Тези файлове трябва да бъдат копирани в HDFS използвайки командата по-долу -

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

И двата входни текстови файла са копирани в главната директория на HDFS

Стъпка 6) Стартирайте програмата, като използвате командата по-долу-

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Командата се повтаря първо, а след това задачата докладва за напредъка си в конзолата.

Команден ред, стартиращ пакетирания jar файл MapReduceJoin

Изход за конзола tracкрал на напредъка на задачата за присъединяване към MapReduce

Стъпка 7) След изпълнение, изходният файл (с име 'part-00000') ще бъде съхранен в директорията /output_mapreducejoin на HDFS.

Резултатите могат да се видят с помощта на интерфейса на командния ред

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Записи на присъединени отдели, отпечатани от HDFS чрез командата cat

Резултатите могат да се видят и чрез уеб интерфейс като-

Целевата страница на уеб интерфейса на Hadoop, използвана за достигане до браузъра на файловата система

Сега изберете „Преглед на файловата система“ и отидете до /output_mapreducejoin

Разглеждане на изгледа на файловата система HDFS до директорията output_mapreducejoin

Отворена част-r-00000

Избиране на изходния файл part-r-00000 в браузърния изглед

Показани са резултатите

Редове с името на присъединения отдел и силата на отдела, показани в браузъра

ЗАБЕЛЕЖКА: Моля, обърнете внимание, че преди да стартирате тази програма за следващ път, ще трябва да изтриете изходната директория /output_mapreducejoin

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Алтернатива е да използвате различно име за изходната директория.

Съединенията ви показват как изглеждат данните. Броячите, разгледани по-долу, ви показват как се е държала задачата, която ги е създала.

Какво е брояч в MapReduce?

Броячът в MapReduce е механизъм, използван за събиране и измерване на статистическа информация за задачи и събития на MapReduce. Броячите поддържат track различни статистики за задачи в MapReduce, като брой извършени операции и напредък на операцията. Броячите се използват за диагностика на проблеми в MapReduce.

Броячите на Hadoop са подобни на поставянето на лог съобщение в кода за карта или намаляване. Тази информация може да бъде полезна за диагностициране на проблем при обработката на задание на MapReduce.

Обикновено тези броячи в Hadoop са дефинирани в програма (map или reduce) и се увеличават по време на изпълнение, когато възникне определено събитие или условие (специфично за този брояч). Много добро приложение на Hadoop броячите е да track валидни и невалидни записи от входен набор от данни.

Видове броячи MapReduce

Има основно 2 вида MapReduce броячи

  1. Вградени броячи на Hadoop: Има някои вградени броячи на Hadoop, които съществуват за всяка задача. По-долу са вградените групи броячи -
    • Броячи на задачи на MapReduce — Събира специфична за задачата информация (напр. брой входни записи) по време на нейното изпълнение.
    • Броячи на файловата система — Събира информация като брой байтове, прочетени или записани от задача.
    • Броячи на FileInputFormat — Събира информация за определен брой байтове, прочетени чрез FileInputFormat.
    • Броячи на FileOutputFormat — Събира информация за определен брой байтове, записани чрез FileOutputFormat.
    • Броячи на задачи — Тези броячи записват статистика за цялата задача, като например броя на стартираните задачи за дадена задача.
  2. Потребителски дефинирани броячи: В допълнение към вградените броячи, потребителят може да дефинира свои собствени броячи, използвайки подобни функционалности, предоставяни от езиците за програмиране. Например, в Java, „изброяване“ се използва за дефиниране на потребителски дефинирани броячи.

💡 Бележка към версията: броячите на задачи се поддържаха от JobTracker под MRv1. В YARN тази роля принадлежи на MapReduce ApplicationMaster, така че имената на броячите се запазват, но компонентът, който ги отчита, се е променил.

Една задача не може да декларира неограничен брой броячи. mapreduce.job.counters.max настройката ограничава общия брой на задача до 120 по подразбиране, а задача, която декларира повече, се проваля с LimitExceededException, така че броячите са предназначени за шепа агрегирани сигнали, а не за преброявания по ключове.

Пример за броячи

Примерен MapClass с броячи за преброяване на липсващите и невалидните стойности. Входен файл с данни, използван в този урок. Нашият набор от входни данни е CSV файл, SalesJan2009.csv

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Горният фрагмент от код показва примерна имплементация на броячи в Hadoop MapReduce.

Тук Броячи за продажби е брояч, дефиниран с помощта на 'преброяване'. Използва се за преброяване на ЛИПСВАЩИ и НЕВАЛИДНИ входни записи.'

В кодовия фрагмент, ако 'държава' полето е с нулева дължина, тогава стойността му липсва и следователно съответният брояч SalesCounters.MISSING се увеличава.

След това, ако 'търговски' започва с „, тогава записът се счита за НЕВАЛИДЕН. Това се обозначава чрез увеличаване на брояча SalesCounters.INVALID.

💡 Забележка за API: горният фрагмент използва оригинала org.apache.hadoop.mapred API, където MapReduceBase- Mapper интерфейс, OutputCollector намлява Reporter се появяват отделно. Текущият код е написан спрямо org.apache.hadoop.mapreduce, където един единствен Context замества колектора и репортера, а броячът се увеличава с context.getCounter(SalesCounters.MISSING).increment(1)Концепцията за брояч е идентична и в двата случая.

Въпроси и Отговори

Изберете варианта на мапъра, когато едната страна е достатъчно малка, за да се съхранява в паметта на всеки възел, защото той пропуска изцяло разбъркването. Изберете варианта на редуктора, когато и двете страни са големи или несортирани и приемете допълнителните мрежови разходи.

Моделите се учат от историческата история на задачите, за да предскажат времето за изпълнение, да препоръчат размери на разделяне и брой редуктори, както и да откриват отклонения от стойностите на броячите. Те също така маркират задачи, чиито броячи на разляти записи или неуспешни задачи се отклоняват извън нормалната лента за този конвейер.

Copilot създава правдоподобни скелети на мапъри и редуктори, но свободно смесва стария пакет mapred с по-новия пакет mapreduce в един клас, което няма да се компилира. Поправете импортирането и сигнатурите на методите, преди да се доверите на логиката.

Това е механизмът, който изпраща по-малкия файл до всеки възел, преди да започнат задачите. След това всеки мапър зарежда това копие в хеш карта и търси съвпадения локално, което прави възможно присъединяването от страна на мапъра.

Те се отпечатват в резюмето на конзолата, когато задачата завърши, показват се в уеб страниците на историята на задачите и мениджъра на ресурси и са четими програмно от обекта на задачата, така че драйверът може да ги използва и да не успее при лошо изпълнение.

Един обект Context. Той изпълнява работата, която OutputCollector и Reporter са използвали за разделяне помежду си, така че изходът се записва и броячите се увеличават чрез един и същ дескриптор, предаден на метода map.

За повечето репортерски работи, не. А Присъединяване към HiveQL компилира се до същия модел за разбъркване и сливане в няколко реда. Ръчно написаните задачи си заслужават, когато логиката за сливане не пасва на SQL клауза.

Hadoop отказва да записва в съществуваща изходна директория, което предпазва готовите резултати от презаписване. Първо изтрийте директорията рекурсивно или предоставете различен изходен път при следващото изпълнение.

Обобщете тази публикация с: