Apa itu Hadoop? ArchiArsitektur, Ekosistem & Komponen

Oleh: Prafulla Ranadive Prafulla Ranadive
Hours Updated

⚡ Ringkasan Cerdas

Apache Hadoop adalah kerangka kerja sumber terbuka yang menyimpan kumpulan data besar di seluruh klaster mesin komoditas dan memindahkan logika pemrosesan ke data, sehingga analisis dapat diskalakan dengan menambahkan node murah daripada server yang lebih besar.

  • 🔘 Modul inti: HDFS menyimpan blok data, MapReduce memprosesnya, dan YARN menjadwalkan sumber daya klaster mulai dari Hadoop 2.x dan seterusnya.
  • ☑️ Lokalitas data: Logika pemrosesan yang telah dikompilasi dikirim ke node yang menyimpan blok tersebut, sehingga konsumsi bandwidth jaringan jauh lebih rendah.
  • ✅ Ekosistem: Hive, HBase, Mahout, Sqoop, Flume, dan ZooKeeper memperluas kemampuan inti dengan SQL, NoSQL, penyerapan data, dan koordinasi.
  • 🧪 Tata letak master-slave: Sebuah NameNode tracmetadata namespace ks sementara DataNodes menyimpan blok dan melaporkan statusnya kembali.
  • ️ Toleransi kesalahan: Setiap blok direplikasi di seluruh node, sehingga satu mesin yang gagal tidak akan pernah menghentikan pekerjaan yang sedang berjalan.
  • ⚠️ Topologi jaringan: Hadoop memodelkan klaster sebagai pohon yang terdiri dari pusat data, rak, dan node untuk menjaga agar lalu lintas tetap lokal.
Baca Selengkapnya

Apa itu arsitektur, ekosistem, dan komponen Hadoop?

Apa itu Hadoop?

Apache Hadoop adalah kerangka perangkat lunak sumber terbuka yang digunakan untuk mengembangkan aplikasi pemrosesan data yang dijalankan dalam lingkungan komputasi terdistribusi.

Aplikasi yang dibangun menggunakan Hadoop dijalankan pada kumpulan data besar yang didistribusikan di seluruh klaster komputer komoditas. Komputer komoditas murah dan tersedia secara luas. Komputer ini terutama berguna untuk mencapai daya komputasi yang lebih besar dengan biaya rendah.

Mirip dengan data yang tersimpan dalam sistem file lokal pada sistem komputer pribadi, di Hadoop, data tersimpan dalam sistem file terdistribusi yang disebut Sistem File Terdistribusi HadoopModel pemrosesan didasarkan pada 'Lokalitas Data' konsep di mana logika komputasi dikirim ke node klaster (server) yang berisi data. Logika komputasi ini hanyalah versi terkompilasi dari program yang ditulis dalam bahasa tingkat tinggi seperti JavaProgram semacam itu memproses data yang tersimpan di Hadoop HDFS.

Apakah Anda tahu? Klaster komputer terdiri dari sekumpulan unit pemrosesan (disk penyimpanan + prosesor) yang terhubung satu sama lain dan bertindak sebagai satu sistem tunggal.

Versi 3.5.0, yang diterbitkan pada 2 April 2026, adalah rilis stabil saat ini; versi 3.4 masih menerima pembaruan pemeliharaan.

Ekosistem dan Komponen Hadoop

Diagram di bawah ini menunjukkan berbagai komponen dalam ekosistem Hadoop, yang dikelompokkan berdasarkan tugas masing-masing — penyimpanan, pemrosesan, dan alat kueri, penyerapan, dan koordinasi di sekitarnya.

Diagram ekosistem Hadoop yang menunjukkan HDFS, MapReduce, dan proyek-proyek Apache di sekitarnya.

Apache Hadoop terdiri dari dua sub-proyek –

  1. Pengurangan Peta Hadoop: MapReduce adalah model komputasi dan kerangka perangkat lunak untuk menulis aplikasi yang dijalankan di Hadoop. Program MapReduce ini mampu memproses data dalam jumlah besar secara paralel pada cluster node komputasi yang besar.
  2. HDFS (Sistem File Terdistribusi Hadoop): HDFS menangani bagian penyimpanan aplikasi Hadoop. Aplikasi MapReduce menggunakan data dari HDFS. HDFS membuat beberapa replika blok data dan mendistribusikannya pada node komputasi dalam sebuah cluster. Distribusi ini memungkinkan komputasi yang andal dan sangat cepat.

Rilis terbaru menyertakan dua modul inti tambahan. BENANG Hadoop, yang ditambahkan di Hadoop 2.x, menjadwalkan pekerjaan pada klaster, dan Hadoop Umum memegang kepemilikan bersama Java pustaka yang dibutuhkan setiap modul. YARN adalah yang memungkinkan mesin seperti SparkTez dan Flink berjalan berdampingan dengan MapReduce.

Meskipun Hadoop paling dikenal karena MapReduce dan sistem file terdistribusinya, HDFS, istilah ini juga digunakan untuk serangkaian proyek terkait yang berada di bawah payung komputasi terdistribusi dan pemrosesan data skala besar. Proyek-proyek terkait Hadoop lainnya di Apache meliputi: Sarang lebahHBase, Mahout, Sqoop, Flume, dan Penjaga Kebun Binatang.

Hadoop Architekstur

Hadoop memiliki arsitektur master-slave untuk penyimpanan data dan pemrosesan data terdistribusi menggunakan PetaKurangi dan metode HDFS. Diagram di bawah ini menempatkan peran-peran tersebut berdampingan, dengan lapisan penyimpanan di satu sisi dan lapisan pemrosesan di sisi lainnya.

Diagram arsitektur Hadoop tingkat tinggi yang menunjukkan NameNode, DataNodes, node master, dan node slave.

Hadoop Tingkat Tinggi Architekstur

NamaNode

NameNode menyimpan metadata untuk setiap file dan direktori yang digunakan dalam namespace, termasuk blok mana yang membentuk setiap file dan di mana blok-blok tersebut berada.

Node Data

DataNode mengelola status node HDFS dan memungkinkan Anda berinteraksi dengan blok yang disimpannya, serta melaporkan kembali ke NameNode dengan laporan blok berkala dan sinyal detak jantung (heartbeat).

MasterNode

Node master memungkinkan Anda melakukan pemrosesan data paralel menggunakan Hadoop MapReduce.

Node Budak

Node slave adalah mesin tambahan dalam klaster Hadoop yang memungkinkan Anda menyimpan data dan menjalankan perhitungan kompleks. Selain itu, setiap node slave menjalankan sebuah Tugas.Tracker dan DataNode. Ini memungkinkan Anda untuk menyinkronkan proses dengan NameNode dan Job.Tracmasing-masing ker.

Dalam Hadoop, sistem master atau slave dapat diatur di cloud atau di lingkungan lokal (on-premise).

Satu catatan penamaan: PekerjaanTracKer ke tugasTracKer termasuk dalam runtime MapReduce generasi pertama (MRv1). Mulai dari Hadoop 2.x dan seterusnya, YARN membagi tugasnya di seluruh klaster. Manajer Sumber Daya, Sebuah Manajer Node per pekerja, dan satu ApplicationMaster per pekerjaan. NameNode dan DataNode tidak berubah.

Fitur-fitur Hadoop

Cocok untuk Analisis Big Data

As Big data Karena cenderung terdistribusi dan tidak terstruktur, klaster Hadoop paling cocok untuk analisis Big Data. Karena logika pemrosesan (bukan data sebenarnya) yang mengalir ke node komputasi, bandwidth jaringan yang dikonsumsi lebih sedikit. Ini disebut konsep lokalitas datadan ini membantu meningkatkan efisiensi aplikasi berbasis Hadoop.

Skalabilitas

Klaster Hadoop dapat dengan mudah diskalakan hingga batas apa pun dengan menambahkan node klaster tambahan, sehingga memungkinkan pertumbuhan Big Data. Selain itu, penskalaan tidak memerlukan modifikasi pada logika aplikasi.

Toleransi kesalahan

Ekosistem Hadoop memiliki ketentuan untuk mereplikasi data input ke node cluster lain. Dengan begitu, jika terjadi kegagalan node cluster, pemrosesan data masih dapat dilanjutkan dengan menggunakan data yang tersimpan di node cluster lain. HDFS menyimpan tiga salinan setiap blok secara default, nilai yang ditetapkan oleh replikasi dfs. properti tersebut, dan NameNode akan mereplikasi ulang setiap blok yang jumlahnya turun di bawah angka tersebut.

ARTIKEL TERKAIT

Topologi Jaringan di Hadoop

Topologi (susunan) jaringan memengaruhi kinerja klaster Hadoop seiring bertambahnya ukuran klaster. Selain kinerja, kita juga perlu memperhatikan ketersediaan tinggi dan penanganan kegagalan. Untuk mencapai hal ini, pembentukan klaster Hadoop memanfaatkan topologi jaringan.

Diagram pohon di bawah ini menunjukkan bagaimana pengaturan tersebut dimodelkan, dari pusat data hingga ke node di dalam setiap rak.

Pohon topologi jaringan Hadoop dengan pusat data, rak, dan node yang digunakan untuk mengukur jarak antar node.

Pada umumnya, bandwidth jaringan merupakan faktor penting yang perlu dipertimbangkan saat membentuk jaringan apa pun. Namun, karena mengukur bandwidth bisa sulit, di Hadoop jaringan direpresentasikan sebagai pohon, dan jarak antar node pohon ini (jumlah hop) dianggap sebagai faktor penting dalam pembentukan klaster Hadoop. Di sini, jarak antara dua node sama dengan jumlah jarak mereka ke leluhur bersama terdekat mereka.

Klaster Hadoop terdiri dari pusat data, rak, dan node yang sebenarnya menjalankan pekerjaan. Di sini, pusat data terdiri dari rak dan sebuah rak terdiri dari node. Bandwidth jaringan yang tersedia untuk proses bervariasi tergantung pada lokasi proses. Artinya, bandwidth yang tersedia menjadi lebih kecil saat kita menjauh dari...

  • Proses pada node yang sama
  • Node berbeda di rak yang sama
  • Node di rak berbeda dari pusat data yang sama
  • Node di pusat data yang berbeda

Kesadaran akan rak menggunakan struktur pohon yang sama: HDFS menempatkan replika pada lebih dari satu rak, sehingga hilangnya switch rak tidak akan menghilangkan semua salinan data.

Pertanyaan Umum Demo Slot

Versi 3.5.0, yang diterbitkan pada 2 April 2026, adalah rilis stabil pertama dari lini 3.5 dan pilihan umum untuk klaster baru. Lini 3.4 masih dipelihara jika Anda membutuhkan cabang yang lebih mapan.

Ya. Hadoop mendukung mode mandiri, yang berjalan sebagai satu kesatuan. Java Terdapat dua mode: proses tanpa daemon, dan mode pseudo-distributed, di mana setiap daemon berjalan secara terpisah pada satu host. Kedua mode ini ditujukan untuk pembelajaran dan pengujian, bukan untuk produksi.

Model yang dilatih berdasarkan riwayat pekerjaan memprediksi waktu eksekusi, merekomendasikan ukuran kontainer, dan menandai ketidakseimbangan data sebelum pekerjaan selesai. Model serupa memindai log NameNode dan DataNode untuk mendeteksi disk yang rusak dan rak yang panas lebih awal daripada peringatan ambang batas.

Ini mempercepat proses penulisan kode berulang (boilerplate): kerangka mapper dan reducer, konfigurasi driver job, dan blok properti XML. Selalu periksa kode yang dihasilkan terhadap versi API yang Anda jalankan, karena Copilot mencampur paket mapred lama dan mapreduce yang lebih baru.

Secara default ada tiga replika, yang dikendalikan oleh dfs.replication. Satu replika tetap berada di node penulisan, replika kedua ditempatkan di rak yang berbeda, dan replika ketiga bergabung dengan rak kedua. NameNode memulihkan blok apa pun yang berada di bawah target.

Masih umum terjadi bahwa penyimpanan batch skala petabyte harus tetap berada di perangkat keras milik sendiri. Sebagian besar pemrosesan baru ditulis untuk Spark atau Flink, yang berjalan di atas YARN, sehingga HDFS sering kali tetap berfungsi sebagai lapisan penyimpanan setelah MapReduce dihentikan.

YARN adalah pengelola sumber daya yang diperkenalkan di Hadoop 2.x. YARN memisahkan penjadwalan klaster dari model pemrograman MapReduce, yang menghilangkan Job.Trachambatan ker dan biarkan mesin seperti SparkTez dan Flink berbagi satu klaster.

Java bersifat bawaan. Hadoop Streaming memungkinkan setiap program yang membaca input standar untuk berfungsi sebagai mapper atau reducer, sehingga Python, Ruby, Perl dan C++ semuanya dapat digunakan, dan Hive menambahkan lapisan mirip SQL di atas data yang sama.

Ringkaslah postingan ini dengan: