Veri Ambarı Nedir? Türleri

Veri Ambarı Nedir?

Veri Ambarlama (DW) Veri ambarı, anlamlı iş içgörüleri sağlamak amacıyla çeşitli kaynaklardan veri toplama ve yönetme sürecidir. Genellikle farklı kaynaklardan gelen iş verilerini bağlamak ve analiz etmek için kullanılan Veri Ambarı, veri analizi ve raporlama için oluşturulmuş herhangi bir İş Zekası (BI) sisteminin çekirdeğini oluşturur.

Veri ambarı, verilerin stratejik kullanımını destekleyen teknolojilerin ve bileşenlerin birleşimidir. İşlem süreçlerinden ziyade sorgulama ve analiz için tasarlanmış, büyük miktarda işletme bilgisinin elektronik olarak depolanmasıdır. Veri ambarı, ham verileri kullanılabilir bilgilere dönüştürür ve önemli kararlar alabilmeleri için kullanıcılara zamanında sunar.

Karar destek veritabanı (Veri Ambarı), bir kuruluşun operasyonel veritabanından ayrı olarak tutulur. Veri Ambarı bir ürün değil, bir ortamdır; kullanıcılara geleneksel bir operasyonel veri deposunda erişilmesi veya bulunması zor olan güncel ve geçmişe ait karar destek bilgilerini sağlayan bir bilgi sisteminin mimari yapısıdır.

Bildiğiniz gibi, bir envanter sistemi için 3NF tasarımına sahip bir veritabanı genellikle birbirleriyle ilişkili birçok tablo içerir. Örneğin, mevcut envanterle ilgili bir rapor, 12'den fazla birleştirme koşulu gerektirebilir; bu da sorgu ve rapor yanıt sürelerini yavaşlatır. Veri Ambarı, yanıt süresini azaltan ve raporlama ve analiz performansını artıran denormalize edilmiş bir tasarım sunar.

Veri ambarı sistemi aşağıdaki isimlerle de bilinir:

• Karar Destek Sistemi (KDS)
• Yönetim bilgi sistemi
• Yönetim bilgi sistemi
• İş Zekası Çözümü
• Analitik Uygulama
• Veri deposu

Veri Ambarının Tarihçesi

Veri ambarı, kullanıcıların kuruluşlarının performansını anlamalarına ve iyileştirmelerine yardımcı olur. Bilgisayar sistemleri daha karmaşık hale geldikçe ve sürekli artan bilgi hacimlerini işledikçe, veri ambarlama ihtiyacı da ortaya çıkmıştır. Veri ambarlama yeni bir kavram değildir; uzun bir evrimsel geçmişe sahiptir.

Veri ambarının evrimindeki önemli olaylardan bazıları şunlardır:

• 1960 — Dartmouth ve General Mills, ortak bir araştırma projesi kapsamında “boyutlar” ve “gerçekler” terimlerini geliştirdiler.
• 1970 — AC Nielsen ve IRI, perakende satışları için boyutlu veri ambarlarını tanıttı.
• 1983 — Teradata Corporation, özellikle karar destek sistemleri için tasarlanmış bir veritabanı yönetim sistemi sunuyor.
• 1980'lerin sonu - IBM Araştırmacılar Paul Murphy ve Barry Devlin, İş Veri Ambarı konseptini geliştiriyorlar.
• Modern Veri Ambarı vizyonu, şu kişilere atfedilir: Bill Inmon"Veri Ambarının babası" olarak da anılan bu kişi, veri ambarının ve Kurumsal Bilgi Fabrikasının oluşturulması, kullanımı ve bakımı konusunda temel eserler kaleme almıştır.

Veri ambarı nasıl çalışır?

Veri ambarı, bir veya daha fazla veri kaynağından gelen bilgilerin toplandığı merkezi bir depo görevi görür. Veriler, işlem sistemlerinden ve diğer ilişkisel veritabanlarından veri ambarına akar.

Gelen veriler şunlar olabilir:

1. Yapılandırılmış
2. yarı yapılandırılmış
3. Yapılandırılmamış

Veriler işlenir, dönüştürülür ve sisteme aktarılır, böylece kullanıcılar İş Zekası araçları, SQL istemcileri ve elektronik tablolar aracılığıyla derlenmiş veri kümesine erişebilirler. Veri Ambarı, farklı kaynaklardan gelen bilgileri tek bir kapsamlı veritabanında birleştirir.

Tüm bu bilgileri tek bir yerde birleştirerek, bir kuruluş müşterilerini bütünsel olarak analiz edebilir ve mevcut her veri noktasını dikkate aldığından emin olabilir. Veri Ambarlama, Veri Madenciliğini mümkün kılar; Veri Madenciliği, daha yüksek satışlara, daha düşük maliyetlere ve daha iyi tahminlere yol açan veri kalıplarını arar.

Veri Ambarı Türleri

Veri ambarlarının (VA) üç ana türü vardır:

1. Kurumsal Veri Ambarı (EDW):

Kurumsal Veri Ambarı, tüm kuruluş genelinde karar destek hizmetleri sağlayan merkezi bir veri ambarıdır. Verilerin düzenlenmesi ve temsil edilmesi için birleşik bir yaklaşım sunar ve verileri konu bazında sınıflandırma ve bu bölümlere göre erişim izni verme olanağı sağlar.

2. OperaUlusal Veri Deposu (ODS):

An OperaUlusal Veri Deposu, ne Veri Ambarı ne de OLTP sistemlerinin kuruluşun raporlama ihtiyaçlarını karşılayamadığı durumlarda kullanılan bir veri deposudur. Bir ODS'de veriler gerçek zamanlı olarak güncellenir; bu da onu güncel çalışan kayıtlarını saklamak gibi rutin faaliyetler için ideal hale getirir.

3. Veri Pazarı:

A Veri Merkezi Bağımsız bir Veri Ambarı, satış, finans veya pazarlama gibi belirli bir iş kolu için tasarlanmış Veri Ambarının bir alt kümesidir. Bağımsız bir Veri Ambarında, veriler doğrudan kaynak sistemlerden toplanabilir.

Veri Ambarının Genel Aşamaları

Başlangıçta, kuruluşlar Veri Ambarı'nın nispeten basit kullanım biçimlerini benimsedi. Zamanla, daha karmaşık modeller ortaya çıktı. Veri Ambarı (DWH) kullanımının genel aşamaları şunlardır:

Çevrimdışı OperaUlusal Veritabanı:

Veriler bir işletim sisteminden başka bir sunucuya kopyalanır. Kopyalanan verilerin yüklenmesi, işlenmesi ve raporlanması işletim sisteminin performansını etkilemez.

Çevrimdışı Veri Ambarı:

Veri ambarındaki veriler, operasyonel veritabanından düzenli olarak güncellenir. Veriler, veri ambarı hedeflerini karşılayacak şekilde eşleştirilir ve dönüştürülür.

Gerçek Zamanlı Veri Ambarı:

Veri ambarları, operasyonel veritabanında bir işlem gerçekleştiğinde güncellenir. Havayolu ve demiryolu rezervasyon sistemleri bunun klasik örnekleridir.

Entegre Veri Ambarı:

Operasyonel sistemler işlem gerçekleştirdiğinde veri ambarları sürekli olarak güncellenir. Veri ambarı daha sonra operasyonel sisteme geri iletilen işlemler üretir.

Veri Ambarının Bileşenleri

Veri ambarının dört bileşeni şunlardır:

Yük Yöneticisi: Ön bileşen olarak da adlandırılan Yük Yöneticisi, ex ile ilgili tüm işlemleri yönetir.tracVeri ambarına veri yükleme ve veri işleme. Bu işlemler, verileri Veri Ambarına giriş için hazırlayan dönüşümleri içerir.

Depo yöneticisi: Depo yöneticisi, depo içindeki verilerin yönetimiyle ilgili işlemleri gerçekleştirir. Veri tutarlılığını sağlamak için verileri analiz eder, indeksler ve görünümler oluşturur, normalleştirme ve toplama işlemleri yapar, kaynak verileri dönüştürür ve birleştirir, ayrıca verileri arşivler veya yedekler.

Sorgu Yöneticisi: Arka uç bileşeni olarak da bilinen Sorgu Yöneticisi, kullanıcı sorgularıyla ilgili işlemleri yönetir. Sorguları uygun tablolara yönlendirir ve yürütülmelerini planlar.

Son Kullanıcı Erişim Araçları:

Bu araçlar beş gruba ayrılır: 1) Veri Raporlama, 2) Sorgulama Araçları, 3) Uygulama Geliştirme Araçları, 4) EIS araçları ve 5) OLAP araçları. Veri Madenciliği araçları.

Veri Ambarına Kimin İhtiyacı Var?

Veri ambarı (DWH), aşağıdakiler de dahil olmak üzere her tür kullanıcı için gereklidir:

• Büyük miktarda veriye dayanan karar vericiler.
• Birden fazla kaynaktan gelen bilgileri birleştirmek için özelleştirilmiş, karmaşık süreçler yürüten kullanıcılar.
• Verilere erişmek için basit, sorunsuz teknoloji isteyen kişiler.
• Karar verme süreçlerinde sistematik ve tekrarlanabilir bir yaklaşım isteyen ekipler.
• Raporlar, gösterge tabloları, tablolar veya grafikler için büyük veri kümelerinde hızlı performansa ihtiyaç duyan kullanıcılar.
• Veri akışlarında ve gruplamalarda gizli kalıpları keşfetmeyi amaçlayan analistler...pings.

Veri Ambarı Ne İçin Kullanılır?

Aşağıda veri ambarlarının en yaygın kullanıldığı sektörler yer almaktadır:

Havayolu:

Havayolu sektöründe, Veri Ambarları mürettebat görevlendirmesini, rota karlılığının analizini, sık uçan yolcu programı promosyonlarını ve benzer operasyonel kararları destekler.

Bankacılık:

Veri ambarları, bankacılık sektöründe masa başı kaynaklarını etkin bir şekilde yönetmek için yaygın olarak kullanılmaktadır. Birçok banka ayrıca bunları pazar araştırması, ürün performans analizi ve operasyon planlaması için de kullanmaktadır.

Sağlık hizmeti:

Sağlık sektörü, strateji oluşturmak ve sonuçları tahmin etmek, hasta tedavi raporları oluşturmak ve verileri sigorta ortakları ve sağlık hizmetleriyle paylaşmak için Veri Ambarlarını kullanmaktadır.

Kamu sektörü:

Kamu sektöründe, Veri Ambarları istihbarat toplama çalışmalarını destekler ve devlet kurumlarının her bireye ait vergi kayıtlarını ve sağlık politikası kayıtlarını tutmasına ve analiz etmesine yardımcı olur.

Yatırım ve Sigorta:

Bu sektörde depolar, veri kalıplarını, müşteri eğilimlerini ve piyasa hareketlerini analiz etmek için kullanılır.

Perakende zincirleri:

Perakende zincirleri, dağıtım ve pazarlama amacıyla Veri Ambarlarını kullanmaktadır. track ürün ve müşteri satın alma kalıplarını analiz ederek promosyonları planlayın ve fiyatlandırma politikasını belirleyin.

Telekomünikasyon:

Telekomünikasyon şirketleri, ürün tanıtımları, satış kararları ve dağıtım kararları için Veri Ambarlarını kullanırlar.

Konaklama Sektörü:

Konaklama sektörü, müşteri geri bildirimlerine ve seyahat alışkanlıklarına dayalı olarak müşterileri hedefleyen reklam ve tanıtım kampanyaları tasarlamak ve tahminlerini yapmak için Veri Ambarlarını kullanmaktadır.

Veri Ambarı Uygulama Adımları

Veri ambarı uygulamasından kaynaklanan iş riskini yönetmenin en iyi yolu üç aşamalı bir strateji izlemektir:

1. Kurumsal Strateji: Mevcut teknik mimariyi ve araçları, ayrıca veri ambarının desteklemesi gereken gerçekleri, boyutları ve nitelikleri belirleyin. Veri haritasıping ve dönüşüm bu aşamanın bir parçasıdır.
2. Aşamalı Teslimat: Veri ambarını konu alanlarına göre aşamalar halinde uygulayın. Rezervasyon ve faturalama gibi ilgili iş birimleri önce teslim edilmeli ve ardından entegre edilmelidir.
3. Yinelemeli Prototipping: Veri ambarı, ani ve kapsamlı bir uygulama yerine, yinelemeli olarak geliştirilmeli, test edilmeli ve iyileştirilmelidir.

Veri ambarı uygulamasındaki temel adımlar ve bu adımların sonuçları şunlardır:

adım	Görevler	Teslim
1	Proje kapsamını tanımlayın	Kapsam tanımı
2	İşletme ihtiyaçlarını belirleyin	Mantıksal Veri Modeli
3	Tanımlama OperaUlusal Veri Deposu gereksinimleri	OperaUlusal Veri Deposu Modeli
4	Eski deneyimleri edinmek veya geliştirmektracAraçlar	ExtracAraçlar ve Yazılımlar
5	Veri ambarı veri gereksinimlerini tanımlayın.	Geçiş Veri Modeli
6	Eksik verileri belgeleyin	Yapılacaklar Listesi
7	Harita OperaUlusal Veri Deposundan Veri Ambarına	DW Veri Entegrasyon Haritası
8	Veri ambarı veritabanı tasarımının geliştirilmesi	DW Veritabanı Tasarımı
9	Extract verisi OperaUlusal Veri Deposu	Entegre DW Veri Extracts
10	Veri Ambarını Yükle	İlk Veri Yükleme
11	Veri Ambarını Sürdürün	Devam Eden Veri Erişimi ve Sonraki Yüklemeler

Veri Ambarı Uygulamasına Yönelik En İyi Uygulamalar

• Verilerin tutarlılığını, doğruluğunu ve bütünlüğünü test etmek için bir plan tanımlayın.
• Veri ambarı iyi entegre edilmiş, iyi tanımlanmış ve zaman damgalı olmalıdır.
• Veri ambarı tasarlarken doğru aracı kullanın, yaşam döngüsünü takip edin, veri çakışmalarını erken aşamada ele alın ve hatalardan ders çıkarın.
• Operasyonel sistemleri ve operasyonel raporları asla depo ile değiştirmeyin.
• Eski sevgilinize aşırı zaman ayırmayın.tracVeri toplama, temizleme ve yükleme işlemlerini mümkün olduğunca otomatikleştirin.
• Veri ambarı uygulamasında iş ekipleri de dahil olmak üzere tüm paydaşları dahil edin. Veri ambarını ortak bir proje olarak ele alın, böylece son kullanıcılar için de faydalı olmaya devam etsin.
• Son kullanıcılara yönelik eğitim planı hazırlayın.

Veri Ambarının Avantajları ve Dezavantajları

Veri Ambarının (VA) Avantajları:

• Kurumsal kullanıcılar, birçok kaynaktan gelen kritik verilere tek bir yerden hızlıca erişebilirler.
• Çeşitli departmanlardaki faaliyetler genelinde tutarlı bilgi sağlar ve özel raporlama ve sorguları destekler.
• Birden fazla veri kaynağını entegre ederek üretim sistemleri üzerindeki yükü azaltır.
• Analiz ve raporlama için gereken toplam işlem süresini kısaltır.
• Yeniden yapılandırma ve entegrasyon, son kullanıcı için raporlama ve analizi kolaylaştırır.
• Kullanıcının verileri birden fazla kaynaktan alma ihtiyacını ortadan kaldırarak zamandan tasarruf sağlar.
• Büyük miktarda geçmiş veriyi depolayarak trend analizi ve gelecek tahminleri yapmayı mümkün kılar.

Veri Ambarının Dezavantajları:

• Yapılandırılmamış veriler için ideal bir seçenek değildir.
• Oluşturma ve uygulama zaman alıcıdır.
• Veri ambarları, aktif bakım yapılmadığı takdirde nispeten hızlı bir şekilde güncelliğini yitirebilir.
• Veri türlerinde, aralıklarda, kaynak şemalarında, indekslerde veya sorgularda değişiklik yapmak zordur.
• Veri ambarı ilk bakışta kolay görünse de, ortalama kullanıcı için karmaşıktır.
• Tüm çabalara rağmen, proje kapsamı uygulama sürecinde genişleme eğilimindedir.
• Farklı iş birimleri bazen birbiriyle çelişen iş kuralları geliştirebilir.
• Kuruluşlar, eğitim ve uygulama için önemli kaynaklar ayırmalıdır.

Veri Depolamanın Geleceği

• düzenleyici kısıtlamalar Bu durum, depolanması ve yönetilmesi daha zor olan yapılandırılmamış veriler de dahil olmak üzere, farklı veri kaynaklarını birleştirme yeteneğini sınırlayabilir.
• olarak boyut Veritabanı sayısı arttıkça, çok büyük veritabanı olarak kabul edilen şeyin boyutu da sürekli yükseliyor ve bu ölçekte veri ambarları oluşturmak ve işletmek giderek daha karmaşık hale geliyor.
• Multimedya verileri Metin kadar kolay işlenemez. İlişkisel yazılımlar metinsel bilgileri iyi işler, ancak zengin medya aktif bir araştırma alanı olmaya devam etmektedir.

Veri Ambarı Araçları

Piyasada birçok veri ambarı aracı bulunmaktadır. İşte en öne çıkanlardan bazıları:

1. MarkLogic:

MarkLogic Veri entegrasyonunu basitleştiren ve hızlandıran, zengin kurumsal özelliklere sahip bir Veri Ambarı çözümüdür. Karmaşık arama işlemlerini gerçekleştirir ve belgeleri, ilişkileri ve meta verileri sorgulayabilir.

2. Oracle:

Oracle Sektör lideri veritabanıdır. Hem şirket içi hem de bulut tabanlı dağıtımlar için geniş bir yelpazede Veri Ambarı çözümleri sunar ve operasyonel verimliliği artırarak müşteri deneyimini optimize etmeye yardımcı olur.

3. Amazon Kırmızıya kayma:

Amazon Redshift Veri ambarı hizmeti, standart yöntemlerle veri analizi için basit ve uygun maliyetli bir çözümdür. SQL ve mevcut BI araçlarıyla birlikte çalışır. Sorgu optimizasyon tekniklerini kullanarak petabaytlarca yapılandırılmış veriye karşı karmaşık sorgular yürütür.

İşte yararlı olanların tam listesi Veri Ambarı Araçları.

SSS