Apa itu Data Lake? Definisi, ArchiKuliah & Praktik Terbaik

⚡ Ringkasan Cerdas

Arsitektur Data Lake menyimpan data terstruktur, semi-terstruktur, dan tidak terstruktur dalam format asli dengan desain datar. Setiap elemen menerima pengidentifikasi unik dan tag metadata, memungkinkan analisis tanpa skema perusahaan yang telah ditentukan sebelumnya.

️ Definisi Inti: Sebuah repositori yang menyimpan setiap tipe data dalam bentuk mentah, tanpa batasan tetap pada ukuran akun atau file.
️ Struktur Tingkat: Pengambilan sampel, penyimpanan, penyulingan, pemrosesan, wawasan, dan operasi terpadu membentuk enam tingkatan arsitektur.
🔑 Komponen-komponen kunci: Pengambilan data, penyimpanan, tata kelola, keamanan, kualitas, penemuan, audit, silsilah, dan eksplorasi harus bekerja sama.
📈 Jalur Kedewasaan: Empat tahapan mengantarkan sebuah organisasi dari tahap penyerapan data mentah hingga tata kelola perusahaan secara penuh di dalam danau tersebut.
️ Kontras Gudang: Lake menerapkan skema saat membaca untuk ilmuwan data, sedangkan gudang data menerapkan skema saat menulis untuk pelaporan bisnis.
⚠️ Risiko Utama: Kontrol akses yang lemah dan kurangnya pengawasan mengubah danau yang tidak terkendali menjadi rawa data yang tidak dapat digunakan.

Baca Selengkapnya

Apa itu Danau Data?

Data Lake adalah repositori penyimpanan yang dapat menyimpan data terstruktur, semi-terstruktur, dan tidak terstruktur dalam jumlah besar. Ini adalah tempat untuk menyimpan setiap jenis data dalam format aslinya tanpa batasan tetap pada ukuran akun atau file. Ini menawarkan kuantitas data yang tinggi untuk meningkatkan kinerja analitik dan integrasi asli.

Data Lake seperti wadah besar yang sangat mirip dengan danau dan sungai sungguhan. Sama seperti danau yang memiliki banyak anak sungai, data lake memiliki data terstruktur, data tak terstruktur, mesin ke mesin, log yang mengalir secara real-time.

Seperti yang ditunjukkan ilustrasi di atas, banyak aliran data terpisah yang masuk ke satu kumpulan data yang tersimpan. Data Lake mendemokratisasi data dan merupakan cara yang hemat biaya untuk menyimpan semua data suatu organisasi untuk diproses kemudian. Analis Riset dapat fokus pada menemukan pola makna dalam data dan bukan pada data itu sendiri.

Berbeda dengan hierarki Gudang data tempat data disimpan dalam File dan Folder, Data Lake memiliki arsitektur yang datar. Setiap elemen data dalam Data Lake diberi pengenal unik dan diberi tag dengan serangkaian informasi metadata.

Mengapa Danau Data?

Tujuan utama membangun data lake adalah untuk menawarkan pandangan data yang belum sempurna kepada para data scientist.

Alasan menggunakan Data Lake adalah:

Dengan timbulnya mesin penyimpanan seperti Hadoop menyimpan informasi yang berbeda menjadi mudah. Tidak perlu memodelkan data ke dalam skema seluruh perusahaan dengan Data Lake.
Dengan meningkatnya volume data, kualitas data, dan metadata, kualitas analisis juga meningkat.
Data Lake menawarkan Ketangkasan bisnis
Pembelajaran mesin dan Kecerdasan Buatan dapat digunakan untuk membuat prediksi yang menguntungkan.
Hal ini menawarkan keunggulan kompetitif bagi organisasi pelaksana.
Tidak ada struktur silo data. Data Lake memberikan pandangan 360 derajat terhadap pelanggan dan menjadikan analisis lebih kuat.

Danau Data Architekstur

Gambar tersebut menunjukkan arsitektur Business Data Lake. Tingkat yang lebih rendah mewakili data yang sebagian besar tidak aktif sementara tingkat yang lebih tinggi menunjukkan data transaksional waktu nyata. Data ini mengalir melalui sistem tanpa atau dengan sedikit latensi. Berikut ini adalah tingkatan penting dalam Data Lake Architekstur:

Tingkat Penyerapan: Tingkatan di sisi kiri menggambarkan sumber data. Data dapat dimuat ke dalam data lake secara batch atau real-time
Tingkat Wawasan: Tingkatan di sebelah kanan mewakili sisi penelitian di mana wawasan dari sistem digunakan. SQL, kueri NoSQL, atau bahkan excel dapat digunakan untuk analisis data.
HDFS adalah solusi hemat biaya untuk data terstruktur dan tidak terstruktur. Ini adalah zona pendaratan untuk semua data yang disimpan di sistem.
Tingkat distilasi Mengambil data dari lapisan penyimpanan dan mengubahnya menjadi data terstruktur agar lebih mudah dianalisis.
Tingkat pemrosesan menjalankan algoritma analitik dan kueri pengguna dengan batch yang bervariasi secara real-time, interaktif, untuk menghasilkan data terstruktur untuk memudahkan analisis.
Tingkat operasi terpadu mengatur pengelolaan dan pemantauan sistem. Ini mencakup audit dan manajemen kemahiran, manajemen data, manajemen alur kerja.

Danau Data Utama Concepts

Berikut ini adalah konsep-konsep utama Data Lake yang perlu dipahami untuk memahami Data Lake secara menyeluruh Architekstur

Tertelan data

Penyerapan Data memungkinkan konektor untuk mendapatkan data dari sumber data yang berbeda dan memuat ke dalam Data lake.

Dukungan Penyerapan Data:

Semua jenis data Terstruktur, Semi Terstruktur, dan Tidak Terstruktur.
Penyerapan berulang seperti Batch, Real-Time, Pemuatan satu kali.
Banyak jenis sumber data seperti Database, Webserver, Email, IOT, dan FTP.

Penyimpanan Data

Penyimpanan data harus terukur, menawarkan penyimpanan hemat biaya, dan memungkinkan akses cepat ke eksplorasi data. Itu harus mendukung berbagai format data.

Tata Kelola Data

Tata kelola data adalah proses mengelola ketersediaan, kegunaan, keamanan, dan integritas data yang digunakan dalam suatu organisasi.

Security

Keamanan perlu diterapkan di setiap lapisan Data lake. Dimulai dengan Penyimpanan, Penggalian, dan Konsumsi. Kebutuhan dasarnya adalah menghentikan akses bagi pengguna yang tidak sah. Ini harus mendukung berbagai alat untuk mengakses data dengan GUI dan Dasbor yang mudah dinavigasi.

Otentikasi, Akuntansi, Otorisasi, dan Perlindungan Data adalah beberapa fitur penting dari keamanan data lake.

Kualitas Data

Kualitas data merupakan komponen penting dalam arsitektur Data Lake. Data digunakan untuk menghasilkan nilai bisnis yang nyata. Contohnya:tracMengambil wawasan dari data berkualitas rendah akan menghasilkan wawasan berkualitas rendah pula.

Penemuan Data

Penemuan Data adalah tahapan penting lainnya sebelum Anda dapat mulai menyiapkan data atau analisis. Pada tahap ini, teknik penandaan digunakan untuk mengungkapkan pemahaman data, dengan mengatur dan menafsirkan data yang diserap di Data lake.

Audit Data

Dua tugas utama audit data adalah tracPerubahan raja pada kumpulan data kunci.

Tracking perubahan pada elemen dataset penting
Menangkap bagaimana/kapan/ dan siapa yang mengubah elemen-elemen ini.

Audit data membantu mengevaluasi risiko dan kepatuhan.

Silsilah Data

Komponen ini menangani asal-usul data. Secara utama, komponen ini membahas ke mana data bergerak dari waktu ke waktu dan apa yang terjadi padanya. Hal ini mempermudah koreksi kesalahan dalam proses analisis data dari sumber ke tujuan.

Eksplorasi Data

Ini adalah tahap awal analisis data. Mengidentifikasi kumpulan data yang tepat sangat penting sebelum memulai Eksplorasi Data.

Semua komponen tertentu perlu bekerja sama untuk memainkan peran penting dalam membangun Data Lake dengan mudah berevolusi dan mengeksplorasi lingkungan.

Platform Data Lake Populer

Tingkatan yang dijelaskan di atas biasanya dirakit dari layanan cloud terkelola, bukan dibangun dari awal. Platform di bawah ini mencakup lapisan penyimpanan dan katalogisasi yang menjadi dasar sebagian besar implementasi.

Amazon S3 dengan Formasi Danau AWS: Penyimpanan objek yang dipasangkan dengan layanan yang mendaftarkan sumber, mengatur izin, dan membangun katalog data. Lihat Tutorial AWS untuk ekosistem yang lebih luas.
Azure Penyimpanan Data Lake Generasi 2: Menambahkan namespace hierarkis di atas Blob Storage, yang memberikan keamanan tingkat direktori dan akses analitik yang lebih cepat.
Google Cloud Penyimpanan dengan BigLake: Menggabungkan penyimpanan objek dengan lapisan kueri yang membaca format tabel terbuka secara langsung.
Apache Hadoop dengan HDFS: Opsi on-premises asli, yang masih digunakan di mana data harus tetap berada di dalam pusat data pribadi.
Databricks dan Snowflake: Platform yang melapisi format tabel seperti Delta Lake dan Apache Iceberg menggantikan penyimpanan objek untuk menambahkan transaksi dan pembuatan versi.

Pemilihan biasanya mengikuti penyedia cloud yang sudah digunakan oleh organisasi, karena proses penyerapan dan alat intelijen bisnis Mengintegrasikan dengan cara paling murah di dalam satu ekosistem tunggal.

Tahapan kematangan Data Lake

Definisi Tahapan Kematangan Data Lake berbeda-beda di setiap buku teks. Meskipun inti permasalahannya tetap sama. Setelah kematangan, definisi tahapan berasal dari sudut pandang orang awam.

Tahap 1: Tangani dan serap data dalam skala besar

Tahap pertama Kematangan Data ini Melibatkan peningkatan kemampuan untuk mengubah dan menganalisis data. Di sini, pemilik bisnis perlu menemukan alat sesuai dengan keahlian mereka untuk memperoleh lebih banyak data dan membangun aplikasi analitis.

Tahap 2: Membangun kekuatan analitis

Ini adalah tahap kedua yang melibatkan peningkatan kemampuan untuk mengubah dan menganalisis data. Pada tahap ini, perusahaan menggunakan alat yang paling sesuai dengan keahlian mereka. Mereka mulai memperoleh lebih banyak data dan membangun aplikasi. Di sini, kemampuan gudang data perusahaan dan data lake digunakan secara bersamaan.

Tahap 3: EDW dan Data Lake bekerja secara serempak

Langkah ini melibatkan penyerahan data dan analisis ke tangan sebanyak mungkin orang. Pada tahap ini, data lake dan gudang data perusahaan mulai bekerja secara terpadu. Keduanya memainkan peran mereka dalam analitik

Tahap 4: Kemampuan usaha di danau

Dalam tahap kematangan data lake ini, kemampuan perusahaan ditambahkan ke Data Lake. Penerapan tata kelola informasi, kemampuan manajemen siklus hidup informasi, dan manajemen Metadata. Namun, sangat sedikit organisasi yang dapat mencapai tingkat kedewasaan ini, namun angka ini akan meningkat di masa depan.

Praktik terbaik untuk Implementasi Data Lake

Archikomponen tekstur, interaksinya, dan produk yang diidentifikasi harus mendukung tipe data asli
Desain Data Lake harus didorong oleh apa yang tersedia, bukan apa yang dibutuhkan. Skema dan persyaratan data tidak ditentukan sampai ditanyakan
Desain harus dipandu oleh komponen sekali pakai yang terintegrasi dengan API layanan.
Penemuan, penyerapan, penyimpanan, administrasi, kualitas, transformasi, dan visualisasi data harus dikelola secara independen.
Arsitektur Data Lake harus disesuaikan dengan industri tertentu. Arsitektur ini harus memastikan bahwa kapabilitas yang diperlukan untuk domain tersebut merupakan bagian yang tidak terpisahkan dari desain.
Orientasi yang lebih cepat terhadap sumber data yang baru ditemukan adalah hal yang penting
Data Lake membantu pengelolaan yang disesuaikan untuk extracnilai maksimum t
Data Lake harus mendukung teknik dan metode pengelolaan data perusahaan yang ada

Tantangan dalam membangun data lake:

Di Data Lake, volume data lebih tinggi, sehingga prosesnya harus lebih bergantung pada administrasi terprogram
Sulit untuk menangani data yang jarang, tidak lengkap, dan mudah berubah
Cakupan kumpulan data dan sumber yang lebih luas memerlukan tata kelola & dukungan data yang lebih besar

⚠️ Peringatan: Danau tanpa metadata yang terkatalogkan dan aturan akses yang ditegakkan akan menjadi rawa data. Data ada, tetapi tidak ada yang dapat menemukannya, mempercayainya, atau membuktikan siapa yang mengubahnya. Oleh karena itu, tata kelola merupakan persyaratan awal, bukan fase selanjutnya.

Perbedaan antara Data Lake dan Data Warehouse

Perbandingan berikut merangkum posisi masing-masing toko. Rincian lebih lanjut tersedia di bagian selanjutnya. data lake vs data warehouse perbandingan.

Parameter Teknis	Danau Data	Gudang data
Data	Data lake menyimpan segalanya.	Gudang Data hanya berfokus pada Proses Bisnis.
Pengolahan	Data sebagian besar belum diproses	Data yang sangat diproses.
Jenis Data	Itu bisa tidak terstruktur, semi terstruktur, dan terstruktur.	Sebagian besar dalam bentuk & struktur tabel.
tugas	Berbagi pengelolaan data	Dioptimalkan untuk pengambilan data
Kelincahan	Sangat lincah, konfigurasikan dan konfigurasi ulang sesuai kebutuhan.	Dibandingkan dengan Data lake, ini kurang gesit dan memiliki konfigurasi tetap.
pengguna	Data Lake sebagian besar digunakan oleh Data Scientist	Profesional bisnis banyak menggunakan data Warehouse
Storage	Desain data lake untuk penyimpanan berbiaya rendah.	Penyimpanan mahal yang memberikan waktu respons cepat digunakan
Security	Menawarkan kontrol yang lebih rendah.	Memungkinkan kontrol data yang lebih baik.
Penggantian EDW	Data lake dapat menjadi sumber untuk EDW	Pelengkap EDW (bukan pengganti)
Skema	Skema membaca (tidak ada skema yang telah ditentukan sebelumnya)	Skema saat menulis (skema yang telah ditentukan sebelumnya)
Pengolahan data	Membantu penyerapan data baru dengan cepat.	Membutuhkan waktu untuk memperkenalkan konten baru.
Granularitas Data	Data dengan tingkat detail atau granularitas yang rendah.	Data pada tingkat ringkasan atau tingkat detail gabungan.
Tools	Dapat menggunakan open source/alat seperti Hadoop/Map Reduce	Sebagian besar alat komersial.

Apa itu Data Lakehouse?

Perbandingan di atas mengasumsikan dua sistem terpisah. Data Lakehouse menggabungkan keduanya menjadi satu, itulah sebabnya istilah ini muncul dalam sebagian besar diskusi arsitektur saat ini.

Sebuah lakehouse menyimpan file mentah dalam penyimpanan objek berbiaya rendah, kemudian menambahkan lapisan metadata transaksional melalui format tabel terbuka seperti Delta Lake, Apache Iceberg, atau Apache Hudi. Lapisan itu menyediakan jaminan yang diberikan oleh sebuah gudang data sementara file-file yang mendasarinya tetap terbuka.

Kemampuan	Danau Data	Rumah Danau Data
Transaksi	Tidak didukung	Transaksi ACID pada tabel
Penanganan skema	Skema hanya baca	Penegakan dan evolusi skema
Pengguna utama	Ilmuwan data	Analis dan ilmuwan data bersama-sama
Kecepatan pelaporan	Lambat tanpa gudang terpisah	Peng querying langsung dengan pengindeksan dan caching

Bagi tim yang sudah mengelola danau yang diatur, mengadopsi format meja biasanya merupakan peningkatan bertahap daripada pembangunan ulang.

Manfaat dan Resiko menggunakan Data Lake

Berikut adalah beberapa manfaat utama dalam menggunakan Data Lake:

Membantu sepenuhnya dalam proses produksi dan analisis tingkat lanjut.
Menawarkan skalabilitas dan fleksibilitas yang hemat biaya
Menawarkan nilai dari tipe data tak terbatas
Mengurangi biaya kepemilikan jangka panjang
Memungkinkan penyimpanan file yang ekonomis
Cepat beradaptasi terhadap perubahan
Keuntungan utama dari data lake adalah sentralisasi dari sumber konten yang berbeda
Pengguna, dari berbagai departemen, mungkin tersebar di seluruh dunia akses fleksibel ke data

Risiko Penggunaan Data Lake:

Setelah beberapa waktu, Data Lake mungkin kehilangan relevansi dan momentumnya
Ada risiko yang lebih besar yang terlibat saat merancang Data Lake
Data yang tidak terstruktur dapat menyebabkan kekacauan yang tidak terkendali, data yang tidak dapat digunakan, alat yang berbeda dan kompleks, serta kolaborasi yang lemah di seluruh perusahaan.
Ini juga meningkatkan biaya penyimpanan & komputasi
Tidak ada cara untuk mendapatkan wawasan dari orang lain yang telah bekerja dengan data tersebut karena tidak ada catatan mengenai silsilah temuan dari analis sebelumnya.
Risiko terbesar dari data lake adalah keamanan dan kontrol akses. Terkadang data dapat dimasukkan ke dalam danau tanpa pengawasan apa pun, karena beberapa data mungkin memerlukan privasi dan peraturan

Pertanyaan Umum Demo Slot

Mengunggah file tanpa tag metadata, kepemilikan, atau aturan retensi. Akibatnya, pengguna tidak dapat mengetahui dataset mana yang terkini atau dapat dipercaya, sehingga penyimpanan data dipenuhi dengan duplikat yang tidak pernah diakses siapa pun.

Format kolom seperti Parquet dan ORC dapat dikompresi dengan baik dan memungkinkan kueri hanya membaca kolom yang dibutuhkan. JSON dan CSV tetap berguna di zona penyimpanan data mentah sebelum konversi.

Pelatihan model membutuhkan sejumlah besar contoh mentah yang beragam, dan itulah yang disimpan oleh sebuah lake. Tim membaca langsung dari penyimpanan objek daripada mengekspor dari gudang data.

Ya. Layanan AI memindai file yang masuk, menyimpulkan skema, menyarankan tag metadata, dan menandai kolom yang tampak seperti data pribadi. Pengelola manusia tetap menyetujui klasifikasi sebelum kebijakan diberlakukan.

Terapkan aturan siklus hidup penyimpanan yang memindahkan file yang jarang diakses ke tingkatan arsip, memadatkan file kecil menjadi file yang lebih besar, dan mempartisi data sehingga kueri melakukan pemindaian lebih sedikit. Komputasi, bukan penyimpanan, biasanya mendominasi biaya.