Apa itu Data Warehouse? Jenis-jenisnya

Apa itu Data Warehousing?

Gudang Data (DW) Data Warehouse adalah proses pengumpulan dan pengelolaan data dari berbagai sumber untuk memberikan wawasan bisnis yang bermakna. Data Warehouse biasanya digunakan untuk menghubungkan dan menganalisis data bisnis dari berbagai sumber yang heterogen, dan merupakan inti dari setiap sistem Business Intelligence (BI) yang dibangun untuk analisis dan pelaporan data.

Data Warehousing adalah perpaduan teknologi dan komponen yang mendukung penggunaan data secara strategis. Ini adalah penyimpanan elektronik sejumlah besar informasi bisnis yang dirancang untuk kueri dan analisis, bukan untuk pemrosesan transaksi. Data Warehouse mengubah data mentah menjadi informasi yang dapat digunakan dan mengirimkannya kepada pengguna tepat waktu untuk membuat keputusan penting.

Basis data pendukung keputusan (Gudang Data) dikelola secara terpisah dari basis data operasional organisasi. Gudang Data bukanlah sebuah produk, melainkan sebuah lingkungan — konstruksi arsitektur sistem informasi yang menyediakan informasi pendukung keputusan terkini dan historis kepada pengguna, yang sulit diakses atau disajikan dalam penyimpanan data operasional tradisional.

Anda mungkin tahu bahwa basis data berdesain 3NF untuk sistem inventaris biasanya memiliki banyak tabel yang saling terkait. Misalnya, laporan tentang inventaris saat ini mungkin memerlukan lebih dari 12 kondisi gabungan, yang memperlambat waktu respons kueri dan laporan. Data Warehouse menyediakan desain denormalisasi yang mengurangi waktu respons dan meningkatkan kinerja untuk pelaporan dan analitik.

Sistem Data Warehouse juga dikenal dengan nama-nama berikut:

• Sistem Pendukung Keputusan (DSS)
• Sistem Informasi Eksekutif
• Sistem manajemen informasi
• Solusi Intelijen Bisnis
• Aplikasi Analitik
• Gudang data

Sejarah Gudang Data

Data Warehouse membantu pengguna memahami dan meningkatkan kinerja organisasi mereka. Kebutuhan untuk menyimpan data berkembang seiring dengan semakin kompleksnya sistem komputer dan semakin banyaknya informasi yang diproses. Data Warehousing bukanlah konsep baru — ia memiliki sejarah evolusi yang panjang.

Berikut beberapa peristiwa penting dalam evolusi Data Warehouse:

• 1960 — Dartmouth dan General Mills, dalam sebuah proyek penelitian bersama, mengembangkan istilah "dimensi" dan "fakta".
• 1970 — AC Nielsen dan IRI memperkenalkan data mart dimensional untuk penjualan ritel.
• 1983 — Teradata Corporation memperkenalkan sistem manajemen basis data yang dirancang khusus untuk mendukung pengambilan keputusan.
• Akhir 1980-an - IBM Peneliti Paul Murphy dan Barry Devlin mengembangkan konsep Business Data Warehouse.
• Visi Data Warehouse modern dikreditkan kepada Bill Inmon, sering disebut sebagai "bapak Data Warehouse". Ia menulis karya-karya fundamental tentang membangun, menggunakan, dan memelihara data warehouse dan Corporate Information Factory.

Bagaimana Cara Kerja Data Warehouse?

Data Warehouse berfungsi sebagai repositori pusat tempat informasi datang dari satu atau lebih sumber data. Data mengalir ke dalam warehouse dari sistem transaksional dan basis data relasional lainnya.

Data yang masuk mungkin berupa:

1. Tersusun
2. Semi-terstruktur
3. Tidak terstruktur

Data diproses, ditransformasikan, dan diintegrasikan sehingga pengguna dapat mengakses kumpulan data yang telah dikurasi melalui alat Business Intelligence, klien SQL, dan spreadsheet. Gudang Data (Data Warehouse) menggabungkan informasi dari berbagai sumber ke dalam satu basis data yang komprehensif.

Dengan mengkonsolidasikan semua informasi ini di satu tempat, sebuah organisasi dapat menganalisis pelanggannya secara holistik dan memastikan bahwa mereka telah mempertimbangkan setiap titik data yang tersedia. Data Warehousing memungkinkan Data Mining — Data Mining mencari pola dalam data yang mengarah pada peningkatan penjualan, penurunan biaya, dan perkiraan yang lebih baik.

Jenis Gudang Data

Tiga jenis utama Data Warehouse (DWH) adalah:

1. Gudang Data Perusahaan (EDW):

Enterprise Data Warehouse (EDW) adalah gudang data terpusat yang menyediakan layanan pendukung pengambilan keputusan di seluruh organisasi. EDW menawarkan pendekatan terpadu untuk mengatur dan merepresentasikan data, serta memberikan kemampuan untuk mengklasifikasikan data berdasarkan subjek dan memberikan akses sesuai dengan pembagian tersebut.

2. OperaPenyimpanan Data Nasional (ODS):

An OperaNational Data Store (ODS) adalah penyimpanan data yang digunakan ketika baik Data Warehouse maupun sistem OLTP tidak dapat memenuhi kebutuhan pelaporan organisasi. Dalam ODS, data diperbarui secara real-time, yang menjadikannya ideal untuk aktivitas rutin seperti menyimpan catatan karyawan terkini.

3. Pasar Data:

A DataMart Data Mart adalah bagian dari Data Warehouse yang dirancang untuk lini bisnis tertentu, seperti penjualan, keuangan, atau pemasaran. Dalam Data Mart independen, data dapat dikumpulkan langsung dari sistem sumber.

Tahapan Umum Gudang Data

Pada awalnya, organisasi mengadopsi penggunaan Data Warehousing yang relatif sederhana. Seiring waktu, pola yang lebih canggih pun muncul. Berikut adalah tahapan umum penggunaan Data Warehouse (DWH):

Offline OperaBasis Data Nasional:

Data disalin dari sistem operasional ke server lain. Proses pemuatan, pemrosesan, dan pelaporan terhadap salinan tersebut tidak memengaruhi kinerja sistem operasional.

Gudang Data Offline:

Data dalam Data Warehouse diperbarui secara berkala dari basis data operasional. Data tersebut dipetakan dan ditransformasikan untuk memenuhi tujuan Data Warehouse.

Gudang Data Waktu Nyata:

Gudang data diperbarui setiap kali terjadi transaksi di basis data operasional. Sistem pemesanan tiket pesawat dan kereta api adalah contoh klasiknya.

Gudang Data Terintegrasi:

Gudang data diperbarui secara terus-menerus ketika sistem operasional melakukan transaksi. Gudang data kemudian menghasilkan transaksi yang diteruskan kembali ke sistem operasional.

Komponen Gudang Data

Empat komponen dari Data Warehouse adalah:

Pengelola Muatan: Disebut juga komponen depan, Load Manager menangani semua operasi yang terkait dengan extracProses ini meliputi penginputan dan pemuatan data ke dalam gudang data. Operasi ini mencakup transformasi yang mempersiapkan data untuk dimasukkan ke dalam Gudang Data.

Manajer gudang: Manajer Gudang melaksanakan operasi yang terkait dengan pengelolaan data di dalam gudang. Ia menganalisis data untuk memastikan konsistensi, membuat indeks dan tampilan, menghasilkan denormalisasi dan agregasi, mentransformasi dan menggabungkan data sumber, serta mengarsipkan atau mencadangkan data.

Manajer Kueri: Juga dikenal sebagai komponen backend, Query Manager menangani operasi yang terkait dengan kueri pengguna. Komponen ini mengarahkan kueri ke tabel yang sesuai dan menjadwalkan eksekusinya.

Alat Akses Pengguna Akhir:

Alat-alat ini terbagi dalam lima kelompok: 1) Pelaporan Data, 2) Alat Kueri, 3) Alat Pengembangan Aplikasi, 4) Alat EIS, dan 5) Alat OLAP. Alat Penambangan Data.

Siapa yang Membutuhkan Gudang Data?

Gudang Data (Data Warehouse/DWH) dibutuhkan untuk semua jenis pengguna, termasuk:

• Para pengambil keputusan yang bergantung pada sejumlah besar data.
• Pengguna yang menjalankan proses khusus dan kompleks untuk menggabungkan informasi dari berbagai sumber.
• Orang-orang yang menginginkan teknologi sederhana dan mudah digunakan untuk mengakses data.
• Tim yang menginginkan pendekatan sistematis dan berulang dalam pengambilan keputusan.
• Pengguna yang membutuhkan performa cepat pada kumpulan data besar untuk laporan, dasbor, tabel, atau grafik.
• Analis yang berupaya menemukan pola tersembunyi dalam aliran data dan gruppings.

Untuk Apa Gudang Data Digunakan?

Berikut adalah sektor-sektor yang paling umum menggunakan Data Warehouse:

Perusahaan penerbangan:

Dalam industri penerbangan, Data Warehouse mendukung penugasan awak kabin, analisis profitabilitas rute, promosi program frequent flyer, dan keputusan operasional serupa.

Perbankan:

Data Warehouse banyak digunakan di sektor perbankan untuk mengelola sumber daya meja kerja secara efektif. Beberapa bank juga menggunakannya untuk riset pasar, analisis kinerja produk, dan perencanaan operasional.

Kesehatan:

Sektor layanan kesehatan menggunakan Data Warehouse untuk menyusun strategi dan memprediksi hasil, menghasilkan laporan perawatan pasien, dan berbagi data dengan mitra asuransi dan layanan bantuan medis.

Sektor publik:

Di sektor publik, Data Warehouse mendukung pengumpulan informasi dan membantu lembaga pemerintah untuk memelihara dan menganalisis catatan pajak dan catatan kebijakan kesehatan untuk setiap individu.

Investasi dan Asuransi:

Di sektor ini, gudang digunakan untuk menganalisis pola data, tren pelanggan, dan pergerakan pasar.

Rantai Ritel:

Rantai ritel menggunakan Gudang Data untuk distribusi dan pemasaran, untuk tracmenganalisis item dan pola pembelian pelanggan, merencanakan promosi, dan menentukan kebijakan penetapan harga.

Telekomunikasi:

Perusahaan telekomunikasi menggunakan Data Warehouse untuk promosi produk, keputusan penjualan, dan keputusan distribusi.

Industri Perhotelan:

Industri perhotelan menggunakan Data Warehouse untuk merancang dan memperkirakan kampanye periklanan dan promosi yang menargetkan klien berdasarkan umpan balik dan pola perjalanan.

Langkah-langkah untuk Mengimplementasikan Gudang Data

Cara terbaik untuk mengelola risiko bisnis yang terkait dengan implementasi Data Warehouse adalah dengan mengikuti strategi tiga langkah:

1. Strategi Perusahaan: Identifikasi arsitektur dan alat teknis saat ini, serta fakta, dimensi, dan atribut yang harus didukung oleh gudang data. Peta dataping dan transformasi merupakan bagian dari tahap ini.
2. Pengiriman Bertahap: Implementasikan Data Warehouse secara bertahap berdasarkan area subjek. Entitas bisnis terkait seperti pemesanan dan penagihan harus diimplementasikan terlebih dahulu, kemudian diintegrasikan.
3. Prototipe Iteratifping: Alih-alih implementasi besar-besaran, Data Warehouse sebaiknya dikembangkan, diuji, dan disempurnakan secara iteratif.

Berikut adalah langkah-langkah utama dalam implementasi Data Warehouse beserta hasil yang diharapkan:

Langkah	Tasks	Deliverables
1	Menentukan ruang lingkup proyek	Definisi Ruang Lingkup
2	Menentukan kebutuhan bisnis	Model Data Logis
3	Menetapkan OperaPersyaratan Penyimpanan Data Nasional	OperaModel Penyimpanan Data nasional
4	Memperoleh atau mengembangkan mantantracalat bantu	ExtracAlat dan Perangkat Lunak
5	Tentukan persyaratan data Data Warehouse.	Model Data Transisi
6	Dokumentasikan data yang hilang	Daftar Proyek yang Harus Dilakukan
7	Lokasi OperaPenyimpanan Data Nasional ke Gudang Data	Peta Integrasi Data DW
8	Mengembangkan desain basis data Data Warehouse.	Desain Basis Data DW
9	Extracdata t dari OperaPenyimpanan Data nasional	Data DW Terintegrasitracts
10	Muat Gudang Data	Pemuatan Data Awal
11	Kelola Gudang Data	Akses Data Berkelanjutan dan Pemuatan Selanjutnya

Praktik Terbaik untuk Mengimplementasikan Gudang Data

• Susun rencana untuk menguji konsistensi, akurasi, dan integritas data.
• Gudang Data harus terintegrasi dengan baik, terdefinisi dengan jelas, dan diberi cap waktu.
• Saat mendesain Data Warehouse, gunakan alat yang tepat, ikuti siklus hidupnya, atasi konflik data sejak dini, dan belajar dari kesalahan.
• Jangan pernah mengganti sistem operasional dan laporan operasional dengan gudang.
• Jangan menghabiskan terlalu banyak waktu untuk mantan.tracMengolah, membersihkan, dan memuat data — otomatiskan jika memungkinkan.
• Libatkan semua pemangku kepentingan, termasuk tim bisnis, dalam implementasi Data Warehouse. Perlakukan data warehouse sebagai proyek bersama agar tetap bermanfaat bagi pengguna akhir.
• Siapkan rencana pelatihan untuk pengguna akhir.

Keuntungan dan Kerugian dari Data Warehouse

Keunggulan Data Warehouse (DWH):

• Pengguna bisnis dapat dengan cepat mengakses data penting dari berbagai sumber di satu tempat.
• Menyediakan informasi yang konsisten di seluruh aktivitas lintas fungsi dan mendukung pelaporan serta kueri ad-hoc.
• Mengintegrasikan berbagai sumber data, yang mengurangi beban pada sistem produksi.
• Mengurangi total waktu penyelesaian untuk analisis dan pelaporan.
• Restrukturisasi dan integrasi mempermudah pelaporan dan analisis bagi pengguna akhir.
• Menghemat waktu pengguna dengan menghilangkan kebutuhan untuk mengambil data dari berbagai sumber.
• Menyimpan sejumlah besar data historis, yang memungkinkan analisis tren dan prediksi masa depan.

Kekurangan dari Data Warehouse:

• Bukan pilihan ideal untuk data tidak terstruktur.
• Pembuatan dan implementasinya memakan waktu.
• Gudang data dapat menjadi usang dengan relatif cepat tanpa pemeliharaan aktif.
• Perubahan pada tipe data, rentang, skema sumber, indeks, atau kueri itu sulit.
• Meskipun Data Warehouse tampak mudah di permukaan, namun sebenarnya kompleks bagi pengguna awam.
• Terlepas dari upaya terbaik yang telah dilakukan, ruang lingkup proyek cenderung meluas selama implementasi.
• Unit bisnis yang berbeda terkadang mengembangkan aturan bisnis yang saling bertentangan.
• Organisasi harus mengalokasikan sumber daya yang signifikan untuk pelatihan dan implementasi.

Masa Depan Pergudangan Data

• Kendala peraturan Hal ini dapat membatasi kemampuan untuk menggabungkan sumber data yang berbeda, termasuk data tidak terstruktur yang lebih sulit untuk disimpan dan dikelola.
• Sebagai ukuran Seiring bertambahnya ukuran basis data, apa yang dianggap sebagai basis data yang sangat besar terus bergeser ke atas, dan membangun serta mengoperasikan gudang data pada skala tersebut menjadi semakin kompleks.
• Data multimedia Tidak dapat dimanipulasi semudah teks. Perangkat lunak relasional menangani informasi tekstual dengan baik, tetapi media kaya tetap menjadi area penelitian yang aktif.

Alat Gudang Data

Terdapat banyak sekali perangkat lunak Data Warehousing yang tersedia di pasaran. Berikut beberapa yang paling terkenal:

1. Tanda Logika:

MarkLogic adalah solusi Data Warehousing yang menyederhanakan dan mempercepat integrasi data dengan serangkaian fitur perusahaan yang kaya. Solusi ini melakukan operasi pencarian yang kompleks dan dapat melakukan kueri dokumen, relasi, dan metadata.

2. Oracle:

Oracle adalah basis data terkemuka di industri ini. Ia menawarkan berbagai solusi Gudang Data untuk penerapan di lokasi (on-premises) dan di cloud, serta membantu mengoptimalkan pengalaman pelanggan dengan meningkatkan efisiensi operasional.

3. Amazon Pergeseran merah:

Amazon Redshift adalah layanan Data Warehouse yang sederhana dan hemat biaya untuk menganalisis data dengan standar. SQL dan alat BI yang sudah ada. Sistem ini menjalankan kueri kompleks terhadap petabyte data terstruktur menggunakan teknik optimasi kueri.

Berikut adalah daftar lengkap yang berguna Alat Gudang Data.

Pertanyaan Umum Demo Slot