Veri Ambarı Nedir? Türler, Tanım ve Örnek

Veri Ambarı Nedir?

A Veri depolama (DW), anlamlı iş içgörüleri sağlamak için çeşitli kaynaklardan veri toplama ve yönetme sürecidir. Bir Veri ambarı, genellikle heterojen kaynaklardan gelen iş verilerini bağlamak ve analiz etmek için kullanılır. Veri ambarı, veri analizi ve raporlama için oluşturulmuş BI sisteminin çekirdeğidir.

Verilerin stratejik kullanımına yardımcı olan teknolojilerin ve bileşenlerin bir karışımıdır. Bir işletme tarafından büyük miktardaki bilginin, işlem işlemek yerine sorgulama ve analiz için tasarlanmış elektronik ortamda depolanmasıdır. Veriyi bilgiye dönüştürerek fark yaratacak şekilde zamanında kullanıcıların kullanımına sunma sürecidir.

Karar destek veritabanı (Veri Ambarı), kuruluşun operasyonel veritabanından ayrı olarak tutulur. Ancak, veri ambarı bir ürün değil, bir ortamdır. Geleneksel operasyonel veri deposunda erişilmesi veya sunulması zor olan güncel ve geçmiş karar destek bilgilerini kullanıcılara sağlayan bir bilgi sisteminin mimari yapısıdır.

Birçoğunuz, bir envanter sistemi için 3NF tasarımlı bir veritabanının birçok birbiriyle ilişkili tabloya sahip olduğunu biliyorsunuz. Örneğin, mevcut envanter bilgilerine ilişkin bir rapor, 12'den fazla birleştirilmiş koşulu içerebilir. Bu, sorgunun ve raporun yanıt süresini hızlı bir şekilde yavaşlatabilir. Veri ambarı, yanıt süresini kısaltmaya ve rapor ve analitik sorgularının performansını artırmaya yardımcı olabilecek yeni bir tasarım sağlar.

Veri ambarı sistemi aşağıdaki isimle de bilinmektedir:

Karar Destek Sistemi (KDS)
Yönetim bilgi sistemi
Yönetim bilgi sistemi
İş Zekası Çözümü
Analitik Uygulama
Veri deposu

Datawarehouse'un Tarihçesi

Veri Ambarı, kullanıcıların kuruluşlarının performansını anlamalarına ve geliştirmelerine yardımcı olur. Bilgisayar sistemleri daha karmaşık hale geldikçe ve artan miktarda Bilgiyi işlemek zorunda kaldıkça, verileri depolamak ihtiyacı ortaya çıktı. Ancak, Veri Ambarı yeni bir şey değildir.

Veri Ambarının gelişimindeki bazı önemli olaylar şunlardır:

1960- Dartmouth ve General Mills ortak bir araştırma projesinde terimlerin boyutlarını ve gerçeklerini geliştirdiler.

1970- Nielsen ve IRI, perakende satışlar için boyutlu veri pazarlarını tanıttı.
1983- Tera Data Corporation, karar desteği için özel olarak tasarlanmış bir veritabanı yönetim sistemini tanıttı

Veri depolama 1980'lerin sonlarında başladı. IBM çalışan Paul Murphy ve Barry Devlin, İş Veri Ambarını geliştirdi.

Ancak asıl konsept Inmon tarafından verilmiştir. Bill. Veri ambarının babası olarak kabul edildi. Deponun ve Kurumsal Bilgi Fabrikasının inşası, kullanımı ve bakımı ile ilgili çeşitli konular hakkında yazmıştı.

Datawarehouse nasıl çalışır?

Veri Ambarı, bilgilerin bir veya daha fazla veri kaynağından geldiği merkezi bir depo olarak çalışır. Veriler, işlem sisteminden ve diğer ilişkisel veritabanlarından bir veri ambarına akar.

Veriler şunlar olabilir:

Yapılandırılmış
yarı yapılandırılmış
Yapılandırılmamış veriler

Veriler işlenir, dönüştürülür ve alınır; böylece kullanıcılar İş Zekası araçları, SQL istemcileri ve elektronik tablolar aracılığıyla Veri Ambarı'ndaki işlenen verilere erişebilir. Veri ambarı, farklı kaynaklardan gelen bilgileri tek bir kapsamlı veritabanında birleştirir.

Bir kuruluş, tüm bu bilgileri tek bir yerde birleştirerek müşterilerini daha bütünsel olarak analiz edebilir. Bu, mevcut tüm bilgilerin dikkate alındığından emin olunmasına yardımcı olur. Veri ambarı veri madenciliğini mümkün kılar. Veri madenciliği, verilerde daha yüksek satış ve karlara yol açabilecek kalıplar arıyor.

Veri Ambarı Türleri

Üç ana Veri Ambarı türü (DWH):

1. Kurumsal Veri Ambarı (EDW):

Kurumsal Veri Ambarı (EDW), merkezi bir depodur. İşletme genelinde karar destek hizmeti sağlar. Verileri düzenlemek ve temsil etmek için birleşik bir yaklaşım sunar. Ayrıca verileri konuya göre sınıflandırma ve bu bölümlere göre erişim verme olanağı sağlar.

2. OperaUlusal Veri Deposu:

OperaODS olarak da adlandırılan ulusal Veri Deposu, ne Veri ambarı ne de OLTP sistemleri kuruluşların raporlama ihtiyaçlarını desteklemediğinde gerekli olan veri deposundan başka bir şey değildir. ODS'de Veri ambarı gerçek zamanlı olarak yenilenir. Bu nedenle Çalışanların kayıtlarının saklanması gibi rutin faaliyetlerde yaygın olarak tercih edilmektedir.

3. Veri Pazarı:

A mart tarihi veri ambarının bir alt kümesidir. Satış, finans, satış veya finans gibi belirli bir iş kolu için özel olarak tasarlanmıştır. Bağımsız bir veri merkezinde veriler doğrudan kaynaklardan toplanabilir.

Veri Ambarı genel aşamaları

Daha önce kuruluşlar veri ambarını nispeten basit bir şekilde kullanmaya başladı. Ancak zamanla veri ambarının daha karmaşık kullanımı başladı.

Veri ambarının (DWH) genel kullanım aşamaları şunlardır:

Çevrimdışı OperaUlusal Veritabanı:

Bu aşamada veriler operasyonel bir sistemden başka bir sunucuya kopyalanır. Bu sayede kopyalanan verilerin yüklenmesi, işlenmesi ve raporlanması operasyonel sistemin performansını etkilemez.

Çevrimdışı Veri Ambarı:

Veri Ambarı'ndaki veriler düzenli olarak güncellenir. OperaUlusal Veritabanı. Datawarehouse'daki veriler, Datawarehouse hedeflerini karşılayacak şekilde eşlenir ve dönüştürülür.

Gerçek Zamanlı Veri Ambarı:

Bu aşamada operasyonel veri tabanında herhangi bir işlem gerçekleştiğinde veri ambarları güncellenir. Örneğin, Havayolu veya demiryolu rezervasyon sistemi.

Entegre Veri Ambarı:

Bu aşamada operasyonel sistem bir işlem gerçekleştirdiğinde Veri Ambarları sürekli olarak güncellenir. Datawarehouse daha sonra operasyonel sisteme geri aktarılan işlemleri üretir.

Veri ambarının bileşenleri

Veri Ambarlarının dört bileşeni şunlardır:

Yük yöneticisi: Yük yöneticisine ön bileşen de denir. Verilerin depoya çıkarılması ve yüklenmesi ile ilgili tüm işlemleri gerçekleştirir. Bu işlemler, verileri Veri ambarına girmeye hazırlamak için gereken dönüşümleri içerir.

Depo yöneticisi: Depo yöneticisi, depodaki verilerin yönetimiyle ilişkili işlemleri gerçekleştirir. Tutarlılığı sağlamak için veri analizi, dizin ve görünüm oluşturma, denormalizasyon ve toplama oluşturma, kaynak verilerin dönüştürülmesi ve birleştirilmesi ve verilerin arşivlenmesi ve pişirilmesi gibi işlemleri gerçekleştirir.

Sorgu Yöneticisi: Sorgu yöneticisi aynı zamanda arka uç bileşeni olarak da bilinir. Kullanıcı sorgularının yönetimi ile ilgili tüm operasyon işlemlerini gerçekleştirir. Bu Veri ambarı bileşenlerinin işlemleri, sorguların yürütülmesini planlamak için uygun tablolara yapılan doğrudan sorgulardır.

Son kullanıcı erişim araçları:

Bunlar 1. Veri Raporlama 2. Sorgu Araçları 3. Uygulama geliştirme araçları 4. EIS araçları, 5. OLAP araçları ve veri madenciliği araçları.

Veri ambarına kimin ihtiyacı var?

DWH (Veri ambarı), aşağıdakiler gibi her tür kullanıcı için gereklidir:

Büyük miktarda veriye güvenen karar vericiler
Birden fazla veri kaynağından bilgi elde etmek için özelleştirilmiş, karmaşık süreçleri kullanan kullanıcılar.
Verilere basit teknolojiyle erişmek isteyen kişiler tarafından da kullanılır.
Karar vermede sistematik bir yaklaşım isteyen kişiler için de gereklidir.
Kullanıcı, raporlar, ızgaralar veya grafikler için gerekli olan büyük miktarda veri üzerinde hızlı performans istiyorsa, Veri ambarı faydalı olur.
Veri ambarı ilk adımdır Veri akışlarının ve gruplamaların 'gizli kalıplarını' keşfetmek istiyorsanız.

Veri Ambarı Ne İçin Kullanılır?

Veri ambarının en yaygın kullanıldığı sektörler şunlardır:

Havayolu:

Havayolu sisteminde, mürettebat atamaları, rota karlılık analizleri, sık uçan yolcu programı promosyonları vb. gibi operasyonel amaçlar için kullanılır.

Bankacılık:

Masa başında bulunan kaynakların etkin bir şekilde yönetilmesi amacıyla bankacılık sektöründe yaygın olarak kullanılmaktadır. Pazar araştırması, ürün ve operasyon performans analizi için de çok az banka kullanıldı.

Sağlık hizmeti:

Sağlık sektörü ayrıca sonuçları stratejilendirmek ve tahmin etmek, hastanın tedavi raporlarını oluşturmak, verileri bağlı sigorta şirketleri, tıbbi yardım hizmetleri vb. ile paylaşmak için Veri ambarını kullandı.

Kamu sektörü:

Kamu sektöründe veri ambarı istihbarat toplamak için kullanılmaktadır. Devlet kurumlarının her birey için vergi kayıtlarını, sağlık politikası kayıtlarını tutmasına ve analiz etmesine yardımcı olur.

Yatırım ve Sigorta sektörü:

Bu sektörde depolar öncelikle veri modellerini, müşteri eğilimlerini analiz etmek ve pazar hareketlerini takip etmek için kullanılıyor.

Zinciri koruyun:

Perakende zincirlerinde, Veri ambarı dağıtım ve pazarlama için yaygın olarak kullanılır. Ayrıca, ürünleri, müşteri satın alma modelini, promosyonları takip etmeye yardımcı olur ve ayrıca fiyatlandırma politikasını belirlemek için kullanılır.

Telekomünikasyon:

Bu sektörde ürün tanıtımlarında, satış kararlarında, dağıtım kararlarında veri ambarı kullanılmaktadır.

Konaklama Sektörü:

Bu sektör, müşterilerinin geri bildirimlerine ve seyahat düzenlerine göre hedeflemek istedikleri reklam ve promosyon kampanyalarını tasarlamak ve tahmin etmek için depolama hizmetlerinden yararlanır.

Veri Ambarını Uygulama Adımları

Datawarehouse uygulamasıyla ilişkili iş riskini ele almanın en iyi yolu, aşağıdaki gibi üç uçlu bir strateji kullanmaktır:

Kurumsal strateji: Burada mevcut mimari ve araçlar dahil olmak üzere teknik tanımlıyoruz. Ayrıca gerçekleri, boyutları ve nitelikleri de tanımlıyoruz. Veri eşleme ve dönüştürme de geçiliyor.
Aşamalı teslimat: Veri ambarı uygulaması konu alanlarına göre aşamalı olarak yapılmalıdır. Rezervasyon ve faturalama gibi ilgili iş birimleri önce uygulanmalı ve ardından birbirleriyle entegre edilmelidir.
Yinelemeli Prototipleme: Uygulamaya büyük patlama yaklaşımı yerine Veri Ambarı tekrarlanarak geliştirilmeli ve test edilmelidir.

Burada, Datawarehouse uygulamasındaki önemli adımlar ve teslimatları yer almaktadır.

adım	Görevler	Teslim
1	Proje kapsamını tanımlamanız gerekiyor	Kapsam tanımı
2	İş ihtiyaçlarını belirlemeniz gerekiyor	Mantıksal Veri Modeli
3	Tanımlama OperaUlusal Veri Deposu gereksinimleri	OperaUlusal Veri Deposu Modeli
4	Çıkarma araçlarını edinin veya geliştirin	Araçları ve Yazılımı çıkarın
5	Veri Ambarı Veri gereksinimlerini tanımlama	Geçiş Veri Modeli
6	Eksik verileri belgeleyin	Yapılacak Proje Listesi
7	Haritalar OperaUlusal Veri Deposundan Veri Ambarına	D/W Veri Entegrasyon Haritası
8	Veri Ambarı Veritabanı tasarımını geliştirin	D/W Veritabanı Tasarımı
9	Verileri buradan ayıkla OperaUlusal Veri Deposu	Entegre D/W Veri Özetleri
10	Veri Ambarını Yükle	İlk Veri Yükleme
11	Veri Ambarını Koruyun	Devam Eden Veri Erişimi ve Sonraki Yüklemeler

Veri Ambarını uygulamaya yönelik en iyi uygulamalar

Verilerin tutarlılığını, doğruluğunu ve bütünlüğünü test etmek için bir plan belirleyin.
Veri ambarı iyi entegre edilmeli, iyi tanımlanmalı ve zaman damgalı olmalıdır.
Datawarehouse'u tasarlarken doğru aracı kullandığınızdan, yaşam döngüsüne sadık kaldığınızdan, veri çakışmalarına dikkat ettiğinizden ve hatalarınızın siz olduğunuzu öğrenmeye hazır olduğunuzdan emin olun.
Operasyonel sistemleri ve raporları asla değiştirmeyin
Verilerin çıkarılması, temizlenmesi ve yüklenmesi için çok fazla zaman harcamayın.
Veri Ambarı uygulama sürecine iş personeli dahil tüm paydaşların dahil edildiğinden emin olun. Veri ambarının bir ortak/ekip projesi olduğunu belirleyin. Son kullanıcılara faydası olmayan Veri ambarı oluşturmak istemezsiniz.
Son kullanıcılara yönelik eğitim planı hazırlayın.

Neden Veri Ambarına İhtiyaç Duyarız? Avantajlar dezavantajlar

Veri Ambarının (DWH) Avantajları:

Veri ambarı, iş kullanıcılarının bazı kaynaklardan gelen kritik verilere tek bir yerden hızla erişmesine olanak tanır.
Veri ambarı, çeşitli işlevler arası faaliyetler hakkında tutarlı bilgi sağlar. Aynı zamanda anlık raporlama ve sorgulamayı da desteklemektedir.
Veri Ambarı, üretim sistemindeki stresi azaltmak için birçok veri kaynağının entegre edilmesine yardımcı olur.
Veri ambarı, analiz ve raporlama için toplam geri dönüş süresinin azaltılmasına yardımcı olur.
Yeniden Yapılanma ve Entegrasyon, kullanıcının raporlama ve analiz amaçlı kullanımını kolaylaştırır.
Veri ambarı, kullanıcıların çok sayıda kaynaktan kritik verilere tek bir yerden erişmesine olanak tanır. Bu nedenle kullanıcının birden fazla kaynaktan veri alma zamanından tasarruf sağlar.
Veri ambarı büyük miktarda geçmiş veriyi saklar. Bu, kullanıcıların geleceğe yönelik tahminlerde bulunmak için farklı zaman dilimlerini ve eğilimleri analiz etmesine yardımcı olur.

Veri Ambarının Dezavantajları:

Yapılandırılmamış veriler için ideal bir seçenek değildir.
Veri Ambarının Oluşturulması ve Uygulanması elbette zaman kafa karıştırıcı bir iştir.
Veri Ambarı nispeten hızlı bir şekilde güncelliğini yitirebilir
Veri türlerinde ve aralıklarında, veri kaynağı şemasında, dizinlerde ve sorgularda değişiklik yapmak zordur.
Veri ambarı kolay görünebilir, ancak aslında ortalama bir kullanıcı için çok karmaşıktır.
Proje yönetimindeki en iyi çabalara rağmen veri ambarı proje kapsamı her zaman artacaktır.
Bazen depo kullanıcıları farklı iş kuralları geliştirecektir.
Kuruluşların kaynaklarının çoğunu eğitim ve Uygulama amacıyla harcamaları gerekir.

Veri Depolamanın Geleceği

Değişim Düzenleyici kısıtlamalar farklı veri kaynaklarını birleştirme yeteneğini sınırlayabilir. Bu farklı kaynaklar, saklanması zor olan yapılandırılmamış veriler içerebilir.
olarak boyut Veritabanlarının sayısı arttıkça, çok büyük bir veritabanını oluşturan tahminler de artmaya devam ediyor. Sürekli olarak büyüyen veri ambarı sistemlerini kurmak ve çalıştırmak karmaşıktır. Günümüzde mevcut olan donanım ve yazılım kaynakları, büyük miktarda veriyi çevrimiçi tutmaya izin vermiyor.
Multimedya verileri metin verileri olarak kolayca değiştirilemezken, metinsel bilgiler günümüzde mevcut olan ilişkisel yazılımlar tarafından alınabilmektedir. Bu bir araştırma konusu olabilir.

Veri Ambarı Araçları

Piyasada birçok Veri Ambarı aracı bulunmaktadır. İşte en öne çıkanlardan bazıları:

1. MarkLogic:

MarkLogic, bir dizi kurumsal özellik kullanarak veri entegrasyonunu daha kolay ve hızlı hale getiren kullanışlı bir veri ambarı çözümüdür. Bu araç, çok karmaşık arama işlemleri gerçekleştirmeye yardımcı olur. Belgeler, ilişkiler ve meta veriler gibi farklı veri türlerini sorgulayabilir.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle endüstri lideri veritabanıdır. Hem şirket içi hem de bulutta çok çeşitli veri ambarı çözümleri sunar. Operasyonel verimliliği artırarak müşteri deneyimlerinin optimize edilmesine yardımcı olur.

https://www.oracle.com/index.html

3. Amazon KırmızıShift:

Amazon Redshift Veri ambarı aracıdır. Standartları kullanarak her türlü veriyi analiz etmek için basit ve uygun maliyetli bir araçtır. SQL ve mevcut BI araçları. Ayrıca sorgu optimizasyonu tekniğini kullanarak petabaytlarca yapılandırılmış veriye karşı karmaşık sorgular çalıştırmaya da olanak tanır.

https://aws.amazon.com/redshift/?nc2=h_m1

İşte yararlı olanların tam listesi Veri Ambarı Araçları.

ANAHTAR ÖĞRENME

Veri Ambarı (DWH), Kurumsal Veri Ambarı (EDW) olarak da bilinir.
Veri Ambarı, bilgilerin bir veya daha fazla veri kaynağından geldiği merkezi bir depo olarak tanımlanır.
Üç ana Veri ambarı türü Kurumsal Veri Ambarıdır (EDW), OperaUlusal Veri Deposu ve Data Mart.
Bir veri ambarının genel durumu Çevrimdışıdır OperaUlusal Veritabanı, Çevrimdışı Veri Ambarı, Gerçek Zamanlı Veri Ambarı ve Entegre Veri Ambarı.
Datawarehouse'un dört ana bileşeni Yük yöneticisi, Ambar Yöneticisi, Sorgu Yöneticisi, Son kullanıcı erişim araçlarıdır.
Datawarehouse, Havayolu, Bankacılık, Sağlık, Sigorta, Perakende vb. gibi çeşitli sektörlerde kullanılmaktadır.
Datawarehosue'nun uygulanması 3 yönlü bir stratejidir: Kurumsal strateji, Aşamalı teslimat ve Tekrarlı Prototipleme.
Veri ambarı, iş kullanıcılarının bazı kaynaklardan gelen kritik verilere tek bir yerden hızla erişmesine olanak tanır.

Beğenebilirsin: