Підручник HDFS: Archiтектура, читання та запис Operaції

⚡ Розумний підсумок

HDFS — це розподілений рівень сховища Hadoop, який розділяє дуже великі файли на репліковані блоки на стандартних машинах, так що один NameNode tracметадані ks, тоді як багато вузлів даних надійно обслуговують запити на читання та запис.

  • 🔘 Archiтекстура: Вузол імен (NameNode) містить образ простору імен та журнал редагування, тоді як вузли даних (DataNode) зберігають фактичні репліки блоків.
  • ☑️ Розмір блоку: Hadoop 1.x за замовчуванням використовував блоки розміром 64 МБ; Hadoop 2.x та 3.x за замовчуванням використовували 128 МБ.
  • ✅ Реплікація: Три репліки на блок – це стандартна множина, розподілена по стійках, тому збій обладнання ніколи не призводить до втрати даних.
  • 🧪 Шлях читання: FSDataInputStream та DFSInputStream отримують розташування блоків з NameNode, а потім передають байти безпосередньо з DataNodes.
  • 🛠️ Шлях запису: DFSOutputStream ставить пакети в чергу, DataStreamer будує конвеєр DataNode, а черга підтвердження захищає від втрати пакетів.
  • 🧭 Варіанти доступу: Файл org.apache.hadoop.fs Java API та оболонка hdfs dfs охоплюють відкриття, читання, запис та закриття.

Підручник HDFS

Що таке HDFS?

HDFS — це розподілена файлова система для зберігання дуже великих файлів даних, що працює на кластерах стандартного обладнання. Вона стійка до відмов, масштабована та надзвичайно проста в розширенні. Hadoop постачається в комплекті з HDFS (розподілена файлова система Hadoop).

Коли дані перевищують ємність сховища на одній фізичній машині, стає важливим розділити їх на кілька окремих машин. Файлова система, яка керує специфічними операціями зберігання в мережі машин, називається розподіленою файловою системою. HDFS є одним із таких програм.

HDFS Archiтектура

Кластер HDFS складається переважно з NameNode який керує метаданими файлової системи та Вузли даних які зберігають фактичні дані.

  • NameNode: Вузол імен (NameNode) можна вважати головним вузлом системи. Він підтримує дерево файлової системи та метадані для всіх файлів і каталогів, присутніх у системі. Два файли, «образ простору імен» та «журнал редагування», використовуються для зберігання метаданих. Вузол імен знає про всі вузли даних (DataNode), що містять блоки даних для заданого файлу, проте він не зберігає розташування блоків постійно. Ця інформація щоразу відновлюється з вузлів даних під час запуску системи.
  • DataNode: Вузли даних (DataNode) – це підлеглі вузли, які знаходяться на кожній машині в кластері та забезпечують фактичне сховище. Вони відповідають за обслуговування запитів на читання та запис від клієнтів.

Оскільки одинокий NameNode був би єдиною точкою відмови, поточні кластери використовують активний NameNode разом із резервним NameNode, який спільно використовує журнал редагування через кворум JournalNode з автоматичним перемиканням між ними.

Операції читання та запису в HDFS виконуються на рівні блоків. Файли даних у HDFS розбиваються на фрагменти розміром з блок, які зберігаються як незалежні одиниці. Розмір блоку за замовчуванням у Hadoop 1.x становить 64 МБ. Починаючи з Hadoop 2.x, розмір блоку за замовчуванням... dfs.blocksize становить 128 МБ.

HDFS працює за концепцією реплікації даних, за якої створюється кілька реплік блоків даних, які розподіляються по вузлах кластера, щоб забезпечити високу доступність даних у разі відмови вузла. Коефіцієнт реплікації за замовчуванням дорівнює трьом (dfs.replication), і коли DataNode припиняє надсилати серцеві сигнали, NameNode автоматично повторно реплікує свої блоки в іншому місці.

Чи знаєте ви? Файл у HDFS, менший за один блок, не займає повну пам’ять блоку.

Читати Operaв HDFS

Запит на читання даних обслуговується HDFS, NameNode та DataNode. Назвемо зчитувач «клієнтом». На діаграмі нижче зображено операцію читання файлу в Hadoop.

Потік даних операції читання HDFS між клієнтом, NameNode та DataNodes

  1. Клієнт ініціює запит на читання, викликаючи метод 'open()' об'єкта FileSystem; це об'єкт типу DistributedFileSystem.
  2. Цей об'єкт підключається до NameNode за допомогою RPC та отримує метадані, такі як розташування блоків файлу. Зверніть увагу, що ці адреси належать до перших кількох блоків файлу.
  3. У відповідь на цей запит метаданих повертаються адреси вузлів даних (DataNode), що мають копію цього блоку.
  4. Після отримання адрес вузлів даних (DataNode) клієнту повертається об'єкт типу FSDataInputStream. FSDataInputStream містить DFSInputStream, який відповідає за взаємодію з вузлом даних (DataNode) та вузлом імен (NameNode). На кроці 4, показаному на діаграмі вище, клієнт викликає метод 'read()', який змушує DFSInputStream встановити з'єднання з першим вузлом даних (DataNode), що містить перший блок файлу.
  5. Дані зчитуються у вигляді потоків, де клієнт неодноразово викликає метод 'read()'. Цей процес операції read() триває до кінця блоку.
  6. Як тільки досягнуто кінця блоку, DFSInputStream закриває з'єднання та переходить до пошуку наступного вузла даних (DataNode) для наступного блоку.
  7. Після того, як клієнт закінчить читання, він викликає метод close().

Запис Operaв HDFS

У цьому розділі ми розглянемо, як дані записуються в HDFS через файли. Діаграма нижче tracщо записують шлях.

Конвеєр операцій запису HDFS з DataQueue, DataStreamer та Ack Queue

  1. Клієнт ініціює операцію запису, викликаючи метод 'create()' об'єкта DistributedFileSystem, який створює новий файл – крок № 1 на наведеній вище діаграмі.
  2. Об'єкт DistributedFileSystem підключається до NameNode за допомогою виклику RPC та ініціює створення нового файлу. Однак ця операція створення файлу не пов'язує жодних блоків з файлом. NameNode відповідає за перевірку того, що файл (який створюється) ще не існує, і що клієнт має правильні дозволи для створення нового файлу. Якщо файл вже існує або клієнт не має достатніх дозволів для створення нового файлу, то клієнту викидається виняток IOException. В іншому випадку операція виконується успішно, і NameNode створює новий запис для файлу.
  3. Після створення нового запису в NameNode клієнту повертається об'єкт типу FSDataOutputStream. Клієнт використовує його для запису даних у HDFS. Викликається метод запису даних (крок 3 на діаграмі).
  4. FSDataOutputStream містить об'єкт DFSOutputStream, який відповідає за зв'язок з вузлами DataNode та NameNode. Поки клієнт продовжує записувати дані, DFSOutputStream продовжує створювати пакети з цими даними. Ці пакети ставляться в чергу, яка називається DataQueue.
  5. Існує ще один компонент під назвою DataStreamer, який використовує цю чергу даних. DataStreamer також запитує NameNode про виділення нових блоків, тим самим вибираючи бажані DataNode для використання в реплікації.
  6. Тепер процес реплікації починається зі створення конвеєра за допомогою DataNodes. У нашому випадку ми вибрали рівень реплікації 3, тому в конвеєрі є 3 DataNodes.
  7. DataStreamer заливає пакети в перший DataNode у конвеєрі.
  8. Кожен вузол даних (DataNode) у конвеєрі зберігає отриманий ним пакет і пересилає його до другого вузла даних у конвеєрі.
  9. Інша черга, «Черга підтвердження», підтримується DFSOutputStream для зберігання пакетів, які очікують підтвердження від вузлів даних.
  10. Після отримання підтвердження пакета в черзі від усіх вузлів даних у конвеєрі він видаляється з «черги підтвердження». У разі будь-якої помилки DataNode пакети з цієї черги використовуються для повторного запуску операції.
  11. Після того, як клієнт завершує запис даних, він викликає метод close() (крок 9 на діаграмі). Виклик close() призводить до скидання решти пакетів даних у конвеєр, після чого відбувається очікування підтвердження.
  12. Після отримання остаточного підтвердження зв'язуються з NameNode, щоб повідомити йому про завершення операції запису файлу.

Доступ до HDFS за допомогою Java API

У цьому розділі ми намагаємося зрозуміти, Java інтерфейс, який використовується для доступу до файлової системи Hadoop.

Для програмної взаємодії з файловою системою Hadoop, Hadoop надає кілька Java класи. Пакет з назвою org.apache.hadoop.fs містить класи, корисні для маніпулювання файлом у файловій системі Hadoop. Ці операції включають відкриття, читання, запис і закриття. API файлів Hadoop є універсальним і може бути розширений для взаємодії з файловими системами, відмінними від HDFS.

Програмне читання файлу з HDFS

Об'єкт java.net.URL використовується для читання вмісту файлу. Для початку нам потрібно зробити Java розпізнати HDF-файли Hadoop URL схема. Це робиться шляхом виклику наборуURLМетод StreamHandlerFactory на URL об'єкт та передача йому екземпляра FsUrlStreamHandlerFactory. Цей метод потрібно виконати лише один раз за JVM, тому він укладений у статичний блок.

Приклад коду -

public class URLCat {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) throws Exception {
        InputStream in = null;
        try {
            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

Цей код відкриває та зчитує вміст файлу. Шлях до цього файлу на HDFS передається програмі як аргумент командного рядка.

Доступ до HDFS за допомогою інтерфейсу командного рядка

Це один із найпростіших способів взаємодії з HDFS. Інтерфейс командного рядка підтримує операції з файловою системою, такі як читання файлу, створення каталогів, переміщення файлів, видалення даних та перегляд каталогів.

Ми можемо бігти '$HADOOP_HOME/bin/hdfs dfs -help' щоб отримати детальну довідку щодо кожної команди. Тут «dfs» – це команда оболонки HDFS, яка підтримує кілька підкоманд. У поточних випусках Hadoop HDFS DFS є кращою формою, тоді як старша Hadoop FS Команда виконує ту саму роботу для будь-якої підтримуваної файлової системи.

Нижче наведено деякі з широко використовуваних команд разом із деталями кожної з них.

1. Скопіюйте файл із локальної файлової системи до HDFS

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal temp.txt /

Ця команда копіює файл temp.txt з локальної файлової системи до HDFS, як показано на виводі нижче.

Команда hdfs dfs -copyFromLocal копіює temp.txt у HDFS

2. Ми можемо переглянути список файлів, що знаходяться в каталозі, за допомогою -ls

$HADOOP_HOME/bin/hdfs dfs -ls /

У наведеному нижче списку ми бачимо файл 'temp.txt' (скопійований раніше) у каталозі ' / '.

hdfs dfs -ls вивести список файлу temp.txt у кореневому каталозі HDFS

3. Команда для копіювання файлу в локальну файлову систему з HDFS

$HADOOP_HOME/bin/hdfs dfs -copyToLocal /temp.txt

Ця команда відображає команду -get та приймає явний локальний шлях призначення як другий аргумент. Наведений нижче вивід показує файл temp.txt, скопійований у локальну файлову систему.

Вивід hdfs dfs -copyToLocal, який показує, що temp.txt скопійовано до локальної файлової системи

4. Команда для створення нового каталогу

$HADOOP_HOME/bin/hdfs dfs -mkdir /mydirectory

Команда виконується безшумно, як показано в наведеному нижче запиті.

Команда hdfs dfs -mkdir для створення папки /mydirectory у HDFS

Перевірте, чи створено каталог. Тепер ви повинні знати, як це зробити 😉

Поширені запитання

Великі блоки зберігають малий розмір метаданих NameNode та дозволяють мапперу зчитувати довгий послідовний ряд байтів перед повторним пошуком. Таким чином, час пошуку на диску стає крихітною часткою часу передачі, що робить повне сканування файлів швидким.

Вузол NameNode припиняє отримувати сигнали heartbeat, позначає вузол як непрацюючий і планує повторну реплікацію кожного блоку, коефіцієнт реплікації якого впав нижче його, на справні вузли DataNode. Записи під час запису відновлюються з черги підтвердження, тому клієнт не втрачає пакети.

Не в належним чином налаштованому кластері. HDFS High Availability запускає активний та резервний вузли NameNode, які обмінюються редагуваннями через JournalNode, а контролери резервного перемикання ZooKeeper автоматично переводять резервний вузол у режим очікування, коли активний вузол перестає відповідати.

Обидва завантажують дані в HDFS. Опція -copyFromLocal обмежує джерело локальною файловою системою, тоді як -put приймає будь-яке підтримуване джерело, включаючи інший шлях HDFS або stdin. Поведінка в іншому ідентична, тому -copyFromLocal просто документує намір.

Кожен файл, каталог і блок займає пам'ять у NameNode, тому мільйони крихітних файлів вичерпують пам'ять купи задовго до того, як диски заповняться. Об'єднання їх у файли послідовностей, архіви Avro, ORC, Parquet або HAR забезпечують керованість метаданих.

Реплікація зберігає три повні копії, що вимагає на 200 відсотків додаткового сховища. Кодування зі стиранням, додане в Hadoop 3, зберігає комірки парності та досягає аналогічної довговічності з приблизно 50 відсотками накладних витрат, обмінюючи дешевше сховище на вищі витрати процесора та мережі під час відновлення.

Моделі машинного навчання, навчені на основі журналів аудиту NameNode та метрик DataNode, можуть прогнозувати виснаження ємності, позначати гарячі блоки та виявляти несправні диски до їх втрати. Виявлення аномалій у шаблонах доступу також виявляє неконтрольовані завдання на ранній стадії.

Copilot швидко виконує знайомі шаблони org.apache.hadoop.fs, такі як виклики FileSystem.get, циклів FSDataInputStream та IOUtils.copyBytes. Завжди перевіряйте згенерований код на відповідність використовуваній версії Hadoop, оскільки назви API та застарілі методи помітно відрізняються між Hadoop 2.x та 3.x.

Підсумуйте цей пост за допомогою: