Підручник Apache Flume: Що таке, ArchiПриклад tecture & Hadoop

⚡ Розумний підсумок

Apache Flume — це розподілений сервіс для збору, агрегації та переміщення великих обсягів даних журналів у HDFS, побудований навколо агентів, які об'єднують джерело, канал та приймач.

  • 🔘 Анатомія агента: Кожен агент Flume — це JVM-процес, що містить джерело, один або декілька каналів та приймач.
  • ☑️ Надійність: Доставка за принципом найкращих зусиль не допускає жодних збоїв вузлів; наскрізна доставка витримує відмови кількох вузлів.
  • ✅ Установка: Класи користувацького вихідного коду компілюються в JAR-файл, який розміщується в каталозі бібліотек Flume.
  • 🧪 Конфігурація: Один файл властивостей визначає джерело, канал і приймач, а також встановлює шлях HDFS та обмеження перегортання.
  • 🛠️ Запуск: Запустіть конвеєр з агентом flume-ng, назвіть агента та вкажіть на flume.conf.
  • ⚠️ Датований приклад: Кінцева точка потокового передавання Twitter v1.1 була закрита у березні 2023 року, тому розглядайте цю вправу як шаблон користувацького джерела.

Посібник з Apache Flume, що охоплює архітектуру агента, його конфігурацію та приклад потокової передачі даних Hadoop

Що таке Apache Flume у Hadoop?

Apache Flume — це надійна та розподілена система для збору, агрегації та переміщення величезних обсягів даних журналів. Вона має просту, але гнучку архітектуру, засновану на потоковій передачі даних. Apache Flume використовується для збору даних журналів, що містяться у файлах журналів з веб-серверів, та їх агрегації в HDFS для аналізу.

Flume в Hadoop підтримує кілька джерел, зокрема:

  • «tail» (який передає дані з локального файлу та записує їх у HDFS через Flume, подібно до команди Unix «tail»)
  • Системні журнали
  • Apache log4j (що дозволяє Java програми для запису подій у файли в HDFS через Flume).

Поточний реліз – Флюм 1.11.0, опубліковано 25 жовтня 2022 року та доступно з Сторінка завантаження Apache FlumeЦей посібник було написано для версії 1.4.0, тому кілька кроків нижче містять примітку, де поточна версія поводиться інакше.

Потік Archiтектура

Агент Flume – це JVM процес із трьома компонентами – джерелом потоку (флуму), каналом потоку (флуму) та стоком потоку (флуму), через які поширюються події після їх ініціювання зовнішнім джерелом. На діаграмі нижче показано, як вони пов'язані.

Діаграма архітектури Flume, що показує агента з джерелом, каналом та приймачем, що живить HDFS

  1. Події, згенеровані зовнішнім джерелом (веб-сервером), споживаються джерелом Flume. Зовнішнє джерело надсилає події до джерела Flume у форматі, який розпізнає цільове джерело.
  2. Джерело Flume отримує подію та зберігає її в одному або кількох каналах. Канал діє як сховище, яке зберігає подію, доки вона не буде використана приймачем Flume. Цей канал може використовувати локальну файлову систему для зберігання цих подій.
  3. Приймач Flume видаляє подію з каналу та зберігає її у зовнішньому репозиторії, такому як HDFS. Може бути кілька агентів Flume, і в цьому випадку приймач Flume пересилає подію до джерела Flume наступного агента в потоці.

Деякі важливі характеристики Flume

  • Flume має гнучку конструкцію, засновану на потоковій передачі даних. Він стійкий до відмов та надійний, з кількома механізмами перемикання на резервний рахунок та відновлення. Flume пропонує різні рівні надійності, включаючи "найкраща доставка" та "наскрізна доставка". Доставка найкращим способом не допускає жодних відмов вузла Flume, тоді як наскрізна доставка гарантує доставку навіть у разі відмови кількох вузлів.
  • Flume передає дані між джерелами та приймачами. Цей збір даних може бути запланованим або керованим подіями. Flume має власний механізм обробки запитів, що дозволяє легко перетворювати кожну нову партію даних перед її переміщенням до цільового приймача.
  • це можливо Лобові раковини включають HDFS та HBaseFlume також може передавати дані про події, такі як дані мережевого трафіку, дані, згенеровані веб-сайтами соціальних мереж та повідомленнями електронної пошти.

Налаштування каналу, бібліотеки та вихідного коду

Перш ніж ми почнемо безпосередньо процес, переконайтеся, що у вас встановлено Hadoop; якщо ні, продовжуйте роботу. як встановити Hadoop Спочатку змініть ім'я користувача на «hduser» (ідентифікатор, який використовувався під час налаштування Hadoop; ви можете переключитися на ідентифікатор користувача, який використовувався під час власного налаштування Hadoop).

Термінал перемикає користувача Linux на hduser перед початком налаштування Flume

Крок 1) Створіть новий каталог з назвою «FlumeTutorial».

sudo mkdir FlumeTutorial
  1. Надайте дозволи на читання, запис та виконання.
    sudo chmod -R 777 FlumeTutorial
  2. Скопіюйте файли MyTwitterSource.java та MyTwitterSourceForFlume.java у цей каталог.

Завантажте вхідні файли звідси

Перевірте дозволи на доступ до всіх цих файлів, як зазначено нижче, та надайте дозвіл на «читання», якщо він відсутній.

Термінал, що відображає дозволи на завантажений файл Java вихідні файли

Крок 2) Завантажте «Apache Flume» з https://flume.apache.org/download.html.

Apache Flume 1.4.0 використовувався в цьому підручнику Flume.

Сторінка завантаження Apache Flume з посиланням на бінарний архів для вибору

Далі, клацніть, щоб знайти дзеркало.

Дзеркальна сторінка Apache, до якої можна дістатися після натискання посилання на архів Flume

Крок 3) Скопіюйте завантажений tar-архів у вибраний вами каталог та extracвміст за допомогою наступної команди.

sudo tar -xvf apache-flume-1.4.0-bin.tar.gz

Термінал колишнійtracЗбір tar-архіву Flume за допомогою команди sudo tar -xvf

Це створює новий каталог з назвою apache-flume-1.4.0-bin та extracts файли в нього. Цей каталог називається в решті статті.

Крок 4) Налаштування бібліотеки Flume. Скопіюйте twitter4j-core-4.0.1.jar, flume-ng-configuration-1.4.0.jar, flume-ng-core-1.4.0.jar та flume-ng-sdk-1.4.0.jar до

/lib/

Один або всі скопійовані JAR-файли можуть мати встановлений дозвіл на виконання, що може спричинити проблеми з компіляцією коду, тому скасуйте його. У моєму випадку twitter4j-core-4.0.1.jar мав дозвіл на виконання. Я скасував його, як показано нижче.

sudo chmod -x twitter4j-core-4.0.1.jar

Термінал скасовує дозвіл на виконання для JAR-файлу core twitter4j

Після цього, команда нижче надає дозвіл на «читання» для twitter4j-core-4.0.1.jar усім.

sudo chmod +rrr /usr/local/apache-flume-1.4.0-bin/lib/twitter4j-core-4.0.1.jar

Зверніть увагу, що я завантажив twitter4j-core-4.0.1.jar з Репозиторій Maven, та всі JAR-файли Flume, тобто flume-ng-*-1.4.0.jar, з артефакти org.apache.flume.

Завантажуйте дані з Twitter за допомогою Flume

Крок 1) Перейдіть до каталогу, що містить файли вихідного коду.

Крок 2) Встановити CLASSPATH як вміст /lib/* та ~/FlumeTutorial/flume/mytwittersource/*.

export CLASSPATH="/usr/local/apache-flume-1.4.0-bin/lib/*:~/FlumeTutorial/flume/mytwittersource/*"

Термінал експортує CLASSPATH, що вказує на каталоги бібліотеки та вихідного коду Flume

Крок 3) Скомпілюйте вихідний код за допомогою команди нижче.

javac -d . MyTwitterSourceForFlume.java MyTwitterSource.java

Термінал компілює обидві Java вихідні файли за допомогою javac

Крок 4) Створіть JAR-файл. Спочатку створіть файл Manifest.txt за допомогою обраного вами текстового редактора та додайте до нього наведений нижче рядок.

Main-Class: flume.mytwittersource.MyTwitterSourceForFlume

Тут flume.mytwittersource.MyTwitterSourceForFlume — це назва основного класу. Зверніть увагу, що вам потрібно натиснути клавішу Enter в кінці цього рядка, як показано нижче.

Файл Manifest.txt, відкритий у текстовому редакторі з використанням запису Main-Class

Тепер створіть JAR-файл 'MyTwitterSourceForFlume.jar' наступним чином.

jar cfm MyTwitterSourceForFlume.jar Manifest.txt flume/mytwittersource/*.class

Термінал пакує скомпільовані класи в MyTwitterSourceForFlume.jar

Крок 5) Скопіюйте цей JAR-файл до /бібліотека/.

sudo cp MyTwitterSourceForFlume.jar <Flume Installation Directory>/lib/

Термінал копіює користувацький вихідний JAR-файл у каталог бібліотек Flume

Крок 6) Перейдіть до каталогу конфігурації Flume, /конф.

Якщо файл flume.conf не існує, скопіюйте файл flume-conf.properties.template та перейменуйте його на flume.conf.

sudo cp flume-conf.properties.template flume.conf

Термінал копіює flume-conf.properties.template до flume.conf

Якщо файл flume-env.sh не існує, скопіюйте файл flume-env.sh.template та перейменуйте його на flume-env.sh.

sudo cp flume-env.sh.template flume-env.sh

Термінал копіює flume-env.sh.template до flume-env.sh

Створення програми Twitter

Спочатку прочитайте це. Потокова передача версії 1.1 statuses/filter Кінцева точка, яка потрібна twitter4j 4.0.1, була виведена з експлуатації 9 березня 2023 року, а фільтрований потік API v2, який її замінив, тепер знаходиться за адресою developer.x.com, знаходиться за платним рівнем. Розглядайте екрани нижче як шаблон користувацького вихідного коду, а потім спрямуйте того ж агента на файл, виконуваний файл або вихідний код Kafka.

Крок 1) Створіть додаток Twitter, увійшовши на портал розробника.

Сторінка входу розробника Twitter, яка використовується для доступу до списку програм

Головна сторінка облікового запису розробника Twitter, що відображається після входу

Крок 2) Перейдіть до розділу «Мої програми» (ця опція випадає, коли натискається кнопка «Яйце» у верхньому правому куті).

Сторінка «Мої програми» на порталі розробників Twitter

Крок 3) Створіть нову програму, натиснувши кнопку «Створити нову програму».

Крок 4) Заповніть дані програми, вказавши назву програми, опис та веб-сайт. Ви можете звернутися до приміток, наведених під кожним полем введення.

Форма створення Twitter-додатку з полями назви, опису та веб-сайту

Крок 5) Прокрутіть сторінку вниз, прийміть умови, поставивши позначку «Так, я згоден», і натисніть кнопку «Створити свій додаток Twitter».

Прапорець «Умови» та кнопка «Створити заявку» внизу форми Twitter

Крок 6) У вікні щойно створеної програми перейдіть на вкладку «Ключі API», прокрутіть сторінку вниз і натисніть кнопку «Створити мій токен доступу».

Вкладка «Ключі API» нового застосунку Twitter до появи токена доступу

Відомості про маркер доступу, що відображаються після натискання кнопки «Створити мій маркер доступу»

Крок 7) Оновіть сторінку.

Крок 8) Натисніть кнопку «Перевірити OAuth». Відобразяться налаштування «OAuth» програми.

Тестовий екран OAuth, що відображає налаштування OAuth програми

Крок 9) Змініть 'flume.conf', використовуючи ці налаштування OAuth. Кроки для зміни 'flume.conf' наведено нижче.

Налаштування OAuth зі списком значень ключа споживача, секретного ключа споживача та токена доступу

Нам потрібно скопіювати ключ споживача, секрет споживача, токен доступу та секрет токена доступу, щоб оновити 'flume.conf'.

Примітка: Ці значення належать користувачеві, тому є конфіденційними, тому їх не слід розголошувати.

Змініть файл 'flume.conf'

Крок 1) Відкрийте 'flume.conf' у режимі запису та встановіть значення для параметрів нижче.

sudo gedit flume.conf

Скопіюйте вміст нижче.

MyTwitAgent.sources = Twitter
MyTwitAgent.channels = MemChannel
MyTwitAgent.sinks = HDFS
MyTwitAgent.sources.Twitter.type = flume.mytwittersource.MyTwitterSourceForFlume
MyTwitAgent.sources.Twitter.channels = MemChannel
MyTwitAgent.sources.Twitter.consumerKey = <Copy consumer key value from Twitter App>
MyTwitAgent.sources.Twitter.consumerSecret = <Copy consumer secret value from Twitter App>
MyTwitAgent.sources.Twitter.accessToken = <Copy access token value from Twitter App>
MyTwitAgent.sources.Twitter.accessTokenSecret = <Copy access token secret value from Twitter App>
MyTwitAgent.sources.Twitter.keywords = guru99
MyTwitAgent.sinks.HDFS.channel = MemChannel
MyTwitAgent.sinks.HDFS.type = hdfs
MyTwitAgent.sinks.HDFS.hdfs.path = hdfs://localhost:54310/user/hduser/flume/tweets/
MyTwitAgent.sinks.HDFS.hdfs.fileType = DataStream
MyTwitAgent.sinks.HDFS.hdfs.writeFormat = Text
MyTwitAgent.sinks.HDFS.hdfs.batchSize = 1000
MyTwitAgent.sinks.HDFS.hdfs.rollSize = 0
MyTwitAgent.sinks.HDFS.hdfs.rollCount = 10000
MyTwitAgent.channels.MemChannel.type = memory
MyTwitAgent.channels.MemChannel.capacity = 10000
MyTwitAgent.channels.MemChannel.transactionCapacity = 1000

Файл flume.conf, відкритий у редакторі з властивостями MyTwitAgent source, channel та sink.

Крок 2) Також встановіть TwitterAgent.sinks.HDFS.hdfs.path, як зазначено нижче.

TwitterAgent.sinks.HDFS.hdfs.path = hdfs:// : / /flume/твіти/

Властивість hdfs.path приймача HDFS, встановлена ​​на ім'я хоста, номер порту та домашній каталог HDFS.

Знайти , і див. значення параметра 'fs.defaultFS', встановленого в $HADOOP_HOME/etc/hadoop/core-site.xml, наведене нижче.

Властивість fs.defaultFS у файлі core-site.xml, яка надає ім'я хоста та порт

Крок 3) Щоб скидати дані до HDFS одразу після їх надходження, видаліть запис нижче, якщо він існує.

TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Приклад: потокова передача даних Twitter за допомогою Flume

Крок 1) Відкрийте 'flume-env.sh' у режимі запису та встановіть значення для параметрів нижче.

JAVA_HOME=<Installation directory of Java>
FLUME_CLASSPATH="<Flume Installation Directory>/lib/MyTwitterSourceForFlume.jar"

flume-env.sh відкрити в редакторі з встановленими JAVA_HOME та FLUME_CLASSPATH

Крок 2) Запустіть Hadoop.

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Крок 3) Два JAR-файли з tar-архіву Flume несумісні з Hadoop 2.2.0, тому в цьому прикладі Apache Flume ми виконуємо наведені нижче кроки, щоб зробити Flume сумісним з Hadoop 2.2.0. Ця заміна JAR-файлів є виправленням епохи 1.4.0; Flume 1.11.0 вже постачає поточні збірки protobuf та Guava, тому сучасному tar-архіву зазвичай нічого з цього не потрібно.

a. Перемістіть protobuf-java-2.4.1.jar з ' /lib'. Спочатку перейдіть до цього каталогу.

компакт-диск /lib

sudo mv protobuf-java-2.4.1.jar ~/

Термінал переміщує protobuf-java-2.4.1.jar з каталогу Flume lib

b. Знайдіть JAR-файл «guava», як показано нижче.

find . -name "guava*"

Команда терміналу find для пошуку JAR-файлу guava, що входить до комплекту

Перемістіть guava-10.0.1.jar з папки ' /ліб'.

sudo mv guava-10.0.1.jar ~/

Термінал переміщує guava-10.0.1.jar з каталогу Flume lib

c. Завантажте guava-17.0.jar з Репозиторій Maven, показано нижче.

Сторінка репозиторію Maven для guava 17.0, заміна JAR-файлу для завантаження

Тепер скопіюйте цей завантажений JAR-файл до ' /ліб'.

Крок 4) Перейти до ' /bin' та запустіть Flume наступним чином.

./flume-ng agent -n MyTwitAgent -c conf -f <Flume Installation Directory>/conf/flume.conf

Термінал запускає агента Flume під назвою MyTwitAgent за допомогою команди flume-ng

Вікно командного рядка, де Flume отримує твіти, виглядає ось так.

Командний рядок, що показує агента Flume, який отримує твіти та записує їх у HDFS

З повідомлення командного вікна ми бачимо, що вивід записується в каталог /user/hduser/flume/tweets/. Тепер відкрийте цей каталог за допомогою веббраузера.

Крок 5) Щоб побачити результат завантаження даних, відкрийте http://localhost:50070/ у браузері, перегляньте файлову систему, а потім перейдіть до каталогу, куди було завантажено дані, тобто

/flume/твіти/

Порт 50070 – це веб-інтерфейс NameNode на Hadoop 2; Hadoop 3 перемістив ту саму сторінку на порт 9870.

Браузер HDFS, що показує каталог flume/tweets із завантаженими файлами твітів

Флюм — це половина ковтання: Скуп імпортує таблиці пакетами, Flume транслює події, а потім Свиня or Вулик сформувати файли та Озі планує ланцюг. Див. також інструменти для аналізу великих даних, З'єднання та лічильники MapReduce та Таленд.

Поширені запитання

Не так, як написано. Статуси потокової передачі/кінцева точка фільтра версії 1.1 була припинена 9 березня 2023 року, а заміна API версії 2 вимагає платного рівня. Механіка Flume все ще актуальна як вправа з користувацьким вихідним кодом.

Моделює базовий нормальний обсяг журналу та форму повідомлень, а потім позначає відхилення, які не перевищують фіксовані порогові значення. Вони також кластеризують повторюваний стек. tracоб’єднує їх в один інцидент та складає ймовірну причину, скорочуючи час сортування.

Copilot швидко створює чернетки блоків джерела, каналу та приймача, але він також вигадує назви властивостей та змішує релізи. Перш ніж запускати агента, перевірте кожен ключ у посібнику користувача Flume для вашої версії.

Flume безперервно передає дані про події, такі як журнали, в HDFS. Sqoop переміщує структуровані таблиці між реляційними базами даних та Hadoop запланованими пакетами. Вони охоплюють різні частини обробки даних та добре поєднуються.

Канал пам'яті є найшвидшим, але втрачає буферизовані події, якщо агент завершує роботу. Файловий канал записує дані на диск і витримує перезапуски з меншою пропускною здатністю. Надайте перевагу довговічності для всього, що ви не можете надіслати повторно.

Kafka зараз є звичайним додатком за замовчуванням, оскільки він зберігає дані та обслуговує багатьох споживачів. Flume 1.11.0, випущений у жовтні 2022 року, все ще підтримує простий односторонній збір журналів у HDFS.

Майже завжди виникає конфлікт JAR-файлів: tar-архів Flume містить власні версії Guava та protobuf, які конфліктують з тими, що завантажує Hadoop. Видалення старішого JAR-архіву, що входить до комплекту, зазвичай очищає його.

Вони вирішують, коли приймач закриває файл і відкриває новий: rollSize за байтами, rollCount за кількістю подій, rollInterval за секундами. Нуль вимикає цей конкретний тригер.

Підсумуйте цей пост за допомогою: