Apa itu Gudang Data? Jenis, Pengertian & Contoh

Apa itu Data Warehousing?

A Pergudangan Data (DW) adalah proses pengumpulan dan pengelolaan data dari berbagai sumber untuk memberikan wawasan bisnis yang bermakna. Gudang data biasanya digunakan untuk menghubungkan dan menganalisis data bisnis dari berbagai sumber. Gudang data adalah inti dari sistem BI yang dibangun untuk analisis dan pelaporan data.

Ini adalah campuran teknologi dan komponen yang membantu penggunaan data secara strategis. Ini adalah penyimpanan elektronik sejumlah besar informasi oleh suatu bisnis yang dirancang untuk kueri dan analisis, bukan pemrosesan transaksi. Ini adalah proses mengubah data menjadi informasi dan membuatnya tersedia bagi pengguna secara tepat waktu untuk membuat perbedaan.

Basis data pendukung keputusan (Gudang Data) dikelola secara terpisah dari basis data operasional organisasi. Namun, gudang data bukanlah suatu produk, melainkan suatu lingkungan. Gudang data merupakan konstruksi arsitektur sistem informasi yang menyediakan informasi pendukung keputusan terkini dan historis kepada pengguna yang sulit diakses atau disajikan dalam penyimpanan data operasional tradisional.

Anda banyak yang mengetahui bahwa database yang dirancang 3NF untuk sistem inventaris banyak memiliki tabel yang terkait satu sama lain. Misalnya, laporan informasi inventaris saat ini dapat mencakup lebih dari 12 kondisi gabungan. Hal ini dapat dengan cepat memperlambat waktu respons kueri dan laporan. Gudang data menyediakan desain baru yang dapat membantu mengurangi waktu respons dan membantu meningkatkan kinerja kueri untuk laporan dan analitik.

Sistem gudang data juga dikenal dengan nama berikut:

Sistem Pendukung Keputusan (DSS)
Sistem Informasi Eksekutif
Sistem manajemen informasi
Solusi Intelijen Bisnis
Aplikasi Analitik
Gudang data

Sejarah Gudang Data

Datawarehouse memberi manfaat bagi pengguna untuk memahami dan meningkatkan kinerja organisasi mereka. Kebutuhan untuk menyimpan data berkembang seiring dengan semakin kompleksnya sistem komputer dan kebutuhan untuk menangani informasi dalam jumlah yang semakin banyak. Namun, Data Warehousing bukanlah hal yang baru.

Berikut adalah beberapa peristiwa penting dalam evolusi Data Warehouse-

1960- Dartmouth dan General Mills dalam proyek penelitian bersama, mengembangkan istilah dimensi dan fakta.

1970- A Nielsen dan IRI memperkenalkan data mart dimensional untuk penjualan ritel.
1983 - Tera Data Corporation memperkenalkan sistem manajemen basis data yang dirancang khusus untuk mendukung keputusan

Pergudangan data dimulai pada akhir tahun 1980an ketika IBM pekerja Paul Murphy dan Barry Devlin mengembangkan Gudang Data Bisnis.

Namun konsep sebenarnya diberikan oleh Inmon Bill. Dia dianggap sebagai bapak gudang data. Dia telah menulis tentang berbagai topik untuk pembangunan, penggunaan, dan pemeliharaan gudang & Pabrik Informasi Perusahaan.

Bagaimana Datawarehouse bekerja?

Gudang Data berfungsi sebagai gudang pusat tempat informasi berasal dari satu atau lebih sumber data. Data mengalir ke gudang data dari sistem transaksional dan database relasional lainnya.

Datanya mungkin:

Tersusun
Semi-terstruktur
Data tidak terstruktur

Data diproses, diubah, dan diserap sehingga pengguna dapat mengakses data yang diproses di Gudang Data melalui alat Business Intelligence, klien SQL, dan spreadsheet. Gudang data menggabungkan informasi yang berasal dari berbagai sumber ke dalam satu database komprehensif.

Dengan menggabungkan semua informasi ini di satu tempat, organisasi dapat menganalisis pelanggannya secara lebih holistik. Hal ini membantu memastikan bahwa mereka telah mempertimbangkan semua informasi yang tersedia. Pergudangan data memungkinkan penambangan data. Penambangan data mencari pola dalam data yang dapat menghasilkan penjualan dan keuntungan lebih tinggi.

Jenis Gudang Data

Tiga jenis utama Gudang Data (DWH) adalah:

1. Gudang Data Perusahaan (EDW):

Enterprise Data Warehouse (EDW) adalah gudang terpusat. Ini menyediakan layanan pendukung keputusan di seluruh perusahaan. Ini menawarkan pendekatan terpadu untuk mengatur dan merepresentasikan data. Ini juga memberikan kemampuan untuk mengklasifikasikan data menurut subjeknya dan memberikan akses menurut divisi tersebut.

2. OperaPenyimpanan Data nasional:

OperaPenyimpanan Data Nasional, yang juga disebut ODS, tidak lain hanyalah penyimpanan data yang diperlukan ketika gudang Data maupun sistem OLTP tidak mendukung kebutuhan pelaporan organisasi. Di ODS, Gudang data disegarkan secara real time. Oleh karena itu, lebih disukai untuk aktivitas rutin seperti menyimpan catatan Karyawan.

3. Pasar Data:

A data mart adalah bagian dari gudang data. Ini dirancang khusus untuk lini bisnis tertentu, seperti penjualan, keuangan, penjualan atau keuangan. Dalam data mart independen, data dapat dikumpulkan langsung dari sumber.

Tahapan umum Data Warehouse

Sebelumnya, organisasi memulai penggunaan data warehousing yang relatif sederhana. Namun, seiring berjalannya waktu, penggunaan data warehousing yang lebih canggih dimulai.

Berikut ini adalah tahapan umum penggunaan gudang data (DWH):

Offline OperaBasis Data Nasional:

Pada tahap ini, data hanya disalin dari sistem operasional ke server lain. Dengan cara ini, pemuatan, pemrosesan, dan pelaporan data yang disalin tidak memengaruhi kinerja sistem operasional.

Gudang Data Offline:

Data di Datawarehouse diperbarui secara berkala dari OperaBasis Data nasional. Data di Datawarehouse dipetakan dan diubah untuk memenuhi tujuan Datawarehouse.

Gudang Data waktu nyata:

Pada tahap ini, gudang data diperbarui setiap kali terjadi transaksi apa pun di basis data operasional. Misalnya, sistem pemesanan tiket pesawat atau kereta api.

Gudang Data Terintegrasi:

Pada tahap ini, Gudang Data diperbarui secara terus-menerus saat sistem operasional melakukan transaksi. Gudang Data kemudian menghasilkan transaksi yang diteruskan kembali ke sistem operasional.

Komponen Gudang Data

Empat komponen Gudang Data adalah:

Manajer beban: Pengelola beban juga disebut komponen depan. Pengelola beban menjalankan semua operasi yang terkait dengan ekstraksi dan pemuatan data ke dalam gudang data. Operasi ini mencakup transformasi untuk menyiapkan data agar dapat dimasukkan ke dalam gudang data.

Manajer gudang: Manajer gudang melakukan operasi yang terkait dengan pengelolaan data di gudang. Ia melakukan operasi seperti analisis data untuk memastikan konsistensi, pembuatan indeks dan tampilan, pembuatan denormalisasi dan agregasi, transformasi dan penggabungan data sumber, serta pengarsipan dan penyimpanan data.

Manajer Kueri: Manajer kueri juga dikenal sebagai komponen backend. Ia melakukan semua operasi operasi yang terkait dengan pengelolaan permintaan pengguna. Pengoperasian komponen Gudang Data ini adalah kueri langsung ke tabel yang sesuai untuk menjadwalkan eksekusi kueri.

Alat akses pengguna akhir:

Ini dikategorikan ke dalam lima kelompok berbeda seperti 1. Pelaporan Data 2. Alat Kueri 3. Alat pengembangan aplikasi 4. Alat EIS, 5. Alat OLAP dan alat penambangan data.

Siapa yang membutuhkan gudang data?

DWH (Data warehouse) diperlukan untuk semua jenis pengguna seperti:

Pengambil keputusan yang mengandalkan data dalam jumlah besar
Pengguna yang menggunakan proses kompleks yang disesuaikan untuk memperoleh informasi dari berbagai sumber data.
Ini juga digunakan oleh masyarakat yang menginginkan teknologi sederhana untuk mengakses data
Ini juga penting bagi orang-orang yang menginginkan pendekatan sistematis dalam mengambil keputusan.
Jika pengguna menginginkan kinerja cepat pada data dalam jumlah besar yang diperlukan untuk laporan, kisi, atau bagan, maka Gudang Data terbukti berguna.
Gudang data adalah langkah pertama Jika Anda ingin menemukan 'pola tersembunyi' aliran dan pengelompokan data.

Untuk Apa Gudang Data Digunakan?

Berikut adalah sektor-sektor yang paling umum di mana Data Warehouse digunakan:

Perusahaan penerbangan:

Dalam sistem Maskapai Penerbangan, ini digunakan untuk tujuan operasional seperti penugasan awak, analisis profitabilitas rute, promosi program penerbangan rutin, dan lain-lain.

Perbankan:

Sistem ini banyak digunakan di sektor perbankan untuk mengelola sumber daya yang tersedia secara efektif. Beberapa bank juga menggunakannya untuk riset pasar, analisis kinerja produk dan operasi.

Kesehatan:

Sektor layanan kesehatan juga menggunakan gudang data untuk menyusun strategi dan memprediksi hasil, menghasilkan laporan perawatan pasien, berbagi data dengan perusahaan asuransi terkait, layanan bantuan medis, dll.

Sektor publik:

Di sektor publik, gudang data digunakan untuk pengumpulan intelijen. Ini membantu lembaga pemerintah untuk memelihara dan menganalisis catatan pajak, catatan kebijakan kesehatan, untuk setiap individu.

Sektor Investasi dan Asuransi:

Di sektor ini, gudang terutama digunakan untuk menganalisis pola data, tren pelanggan, dan melacak pergerakan pasar.

Pertahankan rantai:

Dalam rantai ritel, gudang data banyak digunakan untuk distribusi dan pemasaran. Gudang data juga membantu melacak barang, pola pembelian pelanggan, promosi, dan juga digunakan untuk menentukan kebijakan harga.

Telekomunikasi:

Gudang data digunakan di sektor ini untuk promosi produk, keputusan penjualan, dan untuk membuat keputusan distribusi.

Industri Perhotelan:

Industri ini memanfaatkan layanan pergudangan untuk merancang sekaligus memperkirakan kampanye iklan dan promosi mereka di mana mereka ingin menargetkan klien berdasarkan masukan dan pola perjalanan mereka.

Langkah-Langkah Implementasi Gudang Data

Cara terbaik untuk mengatasi risiko bisnis yang terkait dengan implementasi Datawarehouse adalah dengan menerapkan tiga strategi seperti di bawah ini

Strategi perusahaan: Di sini kami mengidentifikasi teknis termasuk arsitektur dan alat terkini. Kami juga mengidentifikasi fakta, dimensi, dan atribut. Pemetaan dan transformasi data juga dilakukan.
Pengiriman bertahap: Implementasi gudang data harus bertahap berdasarkan bidang subjek. Entitas bisnis terkait seperti pemesanan dan penagihan harus diimplementasikan terlebih dahulu, baru kemudian diintegrasikan satu sama lain.
Pembuatan Prototipe Iteratif: Daripada menerapkan pendekatan big bang, Datawarehouse harus dikembangkan dan diuji secara berulang.

Berikut adalah langkah-langkah penting dalam implementasi Datawarehouse beserta hasil kerjanya.

Langkah	Tasks	Deliverables
1	Perlu mendefinisikan ruang lingkup proyek	Definisi Ruang Lingkup
2	Perlu menentukan kebutuhan bisnis	Model Data Logis
3	Menetapkan Operapersyaratan Penyimpanan Data nasional	OperaModel Penyimpanan Data nasional
4	Dapatkan atau kembangkan alat Ekstraksi	Ekstrak alat dan Perangkat Lunak
5	Tentukan persyaratan Data Gudang Data	Model Data Transisi
6	Dokumentasikan data yang hilang	Daftar Proyek Yang Harus Dilakukan
7	Peta OperaPenyimpanan Data Nasional ke Gudang Data	Peta Integrasi Data D/W
8	Mengembangkan desain Database Gudang Data	Desain Basis Data D/W
9	Ekstrak Data dari OperaPenyimpanan Data nasional	Ekstrak Data D/W Terintegrasi
10	Muat Gudang Data	Pemuatan Data Awal
11	Memelihara Gudang Data	Akses Data yang Sedang Berlangsung dan Pemuatan Selanjutnya

Praktik terbaik untuk menerapkan Gudang Data

Memutuskan rencana untuk menguji konsistensi, keakuratan, dan integritas data.
Gudang data harus terintegrasi dengan baik, terdefinisi dengan baik, dan diberi stempel waktu.
Saat merancang Datawarehouse, pastikan Anda menggunakan alat yang tepat, tetap berpegang pada siklus hidup, hati-hati terhadap konflik data, dan siap untuk mengetahui kesalahan Anda.
Jangan pernah mengganti sistem operasional dan laporan
Jangan menghabiskan terlalu banyak waktu untuk mengekstraksi, membersihkan, dan memuat data.
Pastikan untuk melibatkan seluruh pemangku kepentingan termasuk personel bisnis dalam proses implementasi Datawarehouse. Menetapkan bahwa Data warehousing adalah proyek bersama/tim. Anda tidak ingin membuat gudang data yang tidak berguna bagi pengguna akhir.
Siapkan rencana pelatihan untuk pengguna akhir.

Mengapa Kita Membutuhkan Gudang Data? Keuntungan Kerugian

Keuntungan Gudang Data (DWH):

Gudang data memungkinkan pengguna bisnis dengan cepat mengakses data penting dari beberapa sumber, semuanya di satu tempat.
Gudang data menyediakan informasi yang konsisten tentang berbagai aktivitas lintas fungsi. Ini juga mendukung pelaporan dan kueri ad-hoc.
Gudang Data membantu mengintegrasikan banyak sumber data untuk mengurangi tekanan pada sistem produksi.
Gudang data membantu mengurangi total waktu penyelesaian untuk analisis dan pelaporan.
Restrukturisasi dan Integrasi memudahkan pengguna menggunakannya untuk pelaporan dan analisis.
Gudang data memungkinkan pengguna untuk mengakses data penting dari sejumlah sumber di satu tempat. Oleh karena itu, ini menghemat waktu pengguna dalam mengambil data dari berbagai sumber.
Gudang data menyimpan sejumlah besar data historis. Ini membantu pengguna menganalisis periode waktu dan tren yang berbeda untuk membuat prediksi di masa depan.

Kekurangan Gudang Data:

Bukan pilihan ideal untuk data tidak terstruktur.
Pembuatan dan Implementasi Data Warehouse tentu saja merupakan urusan yang membingungkan.
Gudang Data dapat menjadi usang dengan relatif cepat
Sulit untuk membuat perubahan pada tipe dan rentang data, skema sumber data, indeks, dan kueri.
Gudang data mungkin tampak mudah, tetapi sebenarnya terlalu rumit bagi pengguna rata-rata.
Meskipun terdapat upaya terbaik dalam manajemen proyek, cakupan proyek pergudangan data akan selalu meningkat.
Terkadang pengguna gudang akan mengembangkan aturan bisnis yang berbeda.
Organisasi perlu menghabiskan banyak sumber dayanya untuk tujuan pelatihan dan implementasi.

Masa Depan Pergudangan Data

perubahan Batasan peraturan mungkin membatasi kemampuan untuk menggabungkan sumber data yang berbeda. Sumber yang berbeda ini mungkin mencakup data tidak terstruktur yang sulit disimpan.
Sebagai ukuran Seiring dengan pertumbuhan basis data, estimasi tentang apa yang merupakan basis data yang sangat besar terus bertambah. Membangun dan menjalankan sistem gudang data yang ukurannya terus bertambah merupakan hal yang rumit. Sumber daya perangkat keras dan perangkat lunak yang tersedia saat ini tidak memungkinkan untuk menyimpan sejumlah besar data secara daring.
Data multimedia tidak dapat dengan mudah dimanipulasi sebagai data teks, sedangkan informasi tekstual dapat diambil oleh perangkat lunak relasional yang tersedia saat ini. Hal ini bisa menjadi bahan penelitian.

Alat Gudang Data

Ada banyak alat Data Warehousing yang tersedia di pasar. Inilah beberapa yang paling menonjol:

1. Tanda Logika:

MarkLogic adalah solusi pergudangan data yang berguna yang membuat integrasi data lebih mudah dan lebih cepat menggunakan serangkaian fitur perusahaan. Alat ini membantu melakukan operasi pencarian yang sangat kompleks. Alat ini dapat meminta berbagai jenis data seperti dokumen, hubungan, dan metadata.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle adalah database industri terkemuka. Ini menawarkan beragam pilihan solusi gudang data baik di lokasi maupun di cloud. Ini membantu mengoptimalkan pengalaman pelanggan dengan meningkatkan efisiensi operasional.

https://www.oracle.com/index.html

3. Amazon MerahShift:

Amazon Redshift adalah alat gudang data. Ini adalah alat yang sederhana dan hemat biaya untuk menganalisis semua jenis data menggunakan standar SQL dan alat BI yang ada. Alat ini juga memungkinkan menjalankan kueri kompleks terhadap petabyte data terstruktur, menggunakan teknik pengoptimalan kueri.

https://aws.amazon.com/redshift/?nc2=h_m1

Berikut adalah daftar lengkap yang berguna Alat Gudang Data.

KUNCI BELAJAR

Gudang Data (DWH), juga dikenal sebagai Gudang Data Perusahaan (EDW).
Gudang Data didefinisikan sebagai gudang pusat tempat informasi berasal dari satu atau lebih sumber data.
Tiga jenis utama Gudang Data adalah Gudang Data Perusahaan (EDW), OperaPenyimpanan Data Nasional, dan Data Mart.
Keadaan umum gudang data adalah Offline OperaDatabase Nasional, Gudang Data Offline, Gudang Data Realtime, dan Gudang Data Terintegrasi.
Empat komponen utama Datawarehouse adalah Manajer beban, Manajer Gudang, Manajer Kueri, Alat akses pengguna akhir
Datawarehouse digunakan di berbagai industri seperti Maskapai Penerbangan, Perbankan, Layanan Kesehatan, Asuransi, Ritel, dll.
Implementasi Datawarehouse merupakan strategi tiga cabang yaitu Strategi perusahaan, Pengiriman bertahap, dan Pembuatan prototipe berulang.
Gudang data memungkinkan pengguna bisnis dengan cepat mengakses data penting dari beberapa sumber, semuanya di satu tempat.