Veri deposu Archidoku, Bileşenler ve Diyagram Concepts

Veri deposu Concepts

A veri ambarı Bir şirkete karar verme ve tahminleme için tek bir doğru bilgi kaynağı sağlamak amacıyla vardır. Bir veya birden fazla kaynaktan elde edilen geçmişe ait ve birikimli verileri barındıran bir bilgi sistemidir.

Veri ambarı, verileri işlemler yerine analiz için düzenleyerek, tüm kuruluşun raporlama ve analiz çalışmalarını basitleştirir.

Veri Ambarının Özellikleri

Bir veri ambarını sıradan bir operasyonel veritabanından ayıran dört temel özelliği vardır:

• Konu Odaklı
• Entegre
• Zaman Değişkeni
• Uçucu olmayan

Konu Odaklı

Veri ambarı, bir şirketin devam eden faaliyetleri yerine bir tema hakkında bilgi sağladığı için konu odaklıdır. Tipik konular arasında satış, pazarlama ve dağıtım yer alır.

Veri ambarı, günlük işlemeler yerine karar verme için modelleme ve analize odaklanır. Her bir konu hakkında basit ve özlü bir bakış açısı sunar ve karar verme sürecini desteklemeyen verileri dışarıda bırakır.

Entegre

Entegrasyon, konu odaklılıkla yakından ilişkilidir. Bir veri ambarında entegrasyon, farklı veritabanlarından alınan tüm benzer veriler için ortak bir ölçü birimi oluşturmak ve bu verileri ortak, evrensel olarak kabul edilebilir bir şekilde depolamak anlamına gelir.

Veri ambarı, ana bilgisayar, ilişkisel veritabanları ve düz dosyalar gibi çeşitli kaynaklardan gelen verilerin entegre edilmesiyle oluşturulur. Ayrıca tutarlı adlandırma kuralları, biçimler ve kodlama da korunmalıdır.

İsimlendirme, özellik ölçümleri ve kodlama yapısındaki bu tutarlılık, etkili analizi mümkün kılan şeydir. Aşağıdaki örneği ele alalım:

Yukarıdaki örnekte, A, B ve C olarak etiketlenmiş üç uygulama sırasıyla Cinsiyet, Tarih ve Bakiye bilgilerini saklıyor, ancak her uygulama bu bilgileri farklı bir şekilde saklıyor:

• A uygulaması cinsiyet alanını M veya F gibi mantıksal değerler olarak saklar.
• B uygulaması cinsiyet alanını sayısal bir değer olarak saklar.
• C uygulaması cinsiyet alanını karakter değeri olarak saklar.
• Aynı değişiklik Tarih ve Bakiye alanları için de geçerlidir.

Dönüştürme ve temizleme işleminden sonra, tüm bu veriler veri ambarı içinde ortak bir formatta saklanır.

Zaman Değişkeni

Bir veri ambarının zaman ufku, operasyonel bir sisteminkinden çok daha geniştir. Veriler belirli bir dönemle ilişkilendirilir ve tarihsel bir bakış açısı sunar; bu nedenle, açık veya örtük olarak her zaman bir zaman unsuru taşır.

Zaman varyasyonunun ortaya çıktığı yerlerden biri de kayıt anahtarının yapısıdır. Veri ambarındaki her birincil anahtar, gün, hafta veya ay gibi bir zaman öğesi içermelidir.

Zaman varyansının bir diğer yönü de, veriler veri ambarına bir kez eklendikten sonra güncellenemez veya değiştirilemez olmasıdır.

Uçucu olmayan

Veri ambarı aynı zamanda kalıcıdır; yani yeni veriler geldiğinde önceki veriler silinmez. Veriler salt okunurdur ve periyodik olarak yenilenir; bu da analistlerin geçmiş verileri incelemesine ve neyin ne zaman olduğunu anlamasına yardımcı olur.

Veri ambarı, işlem işleme, kurtarma veya eşzamanlılık kontrolüne ihtiyaç duymadığı için, operasyonel bir uygulamada yaygın olan silme, güncelleme ve ekleme işlemlerini içermez. Veri ambarında yalnızca iki veri işlemi gerçekleştirilir:

1. Veri yükleme
2. Veri erişimi

Aşağıdaki tablo, operasyonel bir uygulama ile veri ambarı arasındaki bazı önemli farklılıkları vurgulamaktadır:

OperaUlusal Başvuru	Veri deposu
Son ürünün yüksek bütünlüğünün veri yükseltme süreçlerinde korunabilmesi için karmaşık bir programın kodlanması gerekir.	Veri güncellemesi yapılmadığı için bu tür bir sorun yaşanmaz.
Minimum yedeklilik sağlamak için veriler normalleştirilmiş bir forma yerleştirilir.	Veriler normalleştirilmiş biçimde saklanmaz.
İşlemler, veri kurtarma, geri alma ve kilitlenme çözümü gibi sorunları desteklemek için gereken teknoloji oldukça karmaşıktır.	Teknolojide göreceli basitlik sunar.

Veri deposu Archidoku

Veri deposu ArchiSistemin yapısı karmaşıktır çünkü sistem, birden fazla kaynaktan gelen geçmişe ait ve birikimli verileri depolar. Veri ambarı katmanlarını oluşturmak için üç yaklaşım vardır: tek katmanlı, iki katmanlı ve üç katmanlı.

Tek katmanlı mimari Gereksiz tekrarları ortadan kaldırarak depolanan veri miktarını en aza indirmeyi amaçlar. Pratikte nadiren kullanılır.

İki katmanlı mimari Fiziksel olarak mevcut kaynakları veri ambarından ayırır. Kolayca genişletilemez, daha az son kullanıcıyı destekler ve ağ sınırlamaları nedeniyle bağlantı sorunlarıyla karşılaşabilir.

Üç katmanlı mimari Veri ambarlarının en yaygın kullanılan tasarımıdır.

En üst, orta ve en alt katmanlardan oluşmaktadır:

1. Alt Katman: Veri ambarının veritabanı en alt katmanı oluşturur. Genellikle ilişkisel bir veritabanı sistemidir ve veriler arka uç araçları kullanılarak temizlenir, dönüştürülür ve bu katmana yüklenir.
2. Orta Seviye: Orta katman, ROLAP veya MOLAP modeli kullanılarak uygulanan bir OLAP sunucusudur. Bu katman, mutlak bir yapı sunar.tracVeritabanının genel görünümünü sağlar ve son kullanıcı ile veritabanı arasında aracı görevi görür.
3. En Üst Kademe: En üst katman, ön uç istemci katmanıdır. Veri ambarına bağlanmak ve veri çekmek için kullanılan araçları ve API'leri içerir; bunlar arasında sorgulama araçları, raporlama araçları, yönetilen sorgulama araçları, analiz araçları ve veri madenciliği araçları bulunur.

Veri Ambarı Bileşenleri

Aşağıdaki şemada gösterildiği gibi, bir veri ambarının bileşenleri ve genel mimarisi birlikte çalışır.

Veri ambarı, bir RDBMS sunucusuna, yani tüm ortamı işlevsel, yönetilebilir ve erişilebilir kılan temel bileşenlerle çevrili merkezi bir bilgi deposuna dayanmaktadır.

Bir veri ambarı, aşağıda açıklanan beş ana bileşenden oluşur.

Veri Ambarı Veritabanı

Merkezi veritabanı, depolama ortamının temelini oluşturur ve şu şekilde uygulanır: RDBMS Teknoloji. Geleneksel bir RDBMS, veri ambarlama yerine işlem işleme için ayarlandığından, anlık sorgular, çoklu tablo birleştirmeleri ve toplama işlemleri gibi kaynak yoğun işlemler onu yavaşlatabilir.

Bu nedenle alternatif veritabanı yaklaşımları kullanılmaktadır:

• İlişkisel veritabanları, ölçeklenebilirliği sağlamak amacıyla, çeşitli çok işlemcili veya büyük ölçekli paralel yapılandırmalarda paylaşımlı bellek veya paylaşımsız bellek modelleri kullanılarak paralel olarak dağıtılır.
• İlişkisel tablo taramalarını atlamak ve hızı artırmak için yeni indeks yapıları kullanılıyor.
• Çok boyutlu veritabanları (MDDB'ler), ilişkisel veri ambarı modellerinin sınırlamalarının üstesinden gelmek için kullanılır. Essbase buna bir örnektir. Oracle.

Kaynak Bulma, Satın Alma, Temizleme ve Dönüştürme Araçları (ETL)

Veri kaynaklama, dönüştürme ve taşıma araçları, verileri birleşik bir veri ambarı formatına dönüştürmek için gereken tüm dönüşümleri, özetlemeleri ve değişiklikleri gerçekleştirir. Bunlara ayrıca Ex de denir.tract, Dönüştürme ve Yükleme (ETL) araçları.

İşlevleri şunları içerir:

• Düzenleyici hükümlere göre verileri anonimleştirin.
• Veri ambarına yüklemeden önce operasyonel veritabanlarındaki istenmeyen verileri temizleyin.
• Farklı kaynaklardan gelen veriler için ortak adları ve tanımları arayın ve değiştirin.
• Özetleri ve türetilmiş verileri hesaplayın.
• Eksik verileri varsayılan değerlerle doldurun.
• Birden fazla kaynaktan gelen tekrarlanan verileri ayıklayın.

Bunlar ETL araçları Veri ambarını düzenli olarak yenileyen ve meta verilerin korunmasına yardımcı olan cron işleri, arka plan işleri, Cobol programları ve shell komut dosyaları oluşturabilir.

Çok sayıda sistemden veri aldıkları için, ETL araçları veritabanı ve veri heterojenliğiyle de başa çıkmak zorundadır.

Metadata

Meta veri kulağa gelişmiş gelebilir, ancak aslında veri ambarını tanımlayan veriler hakkında verilerdir. Veri ambarını oluşturmak, sürdürmek ve yönetmek için kullanılır.

Mimari içerisinde meta veriler, verinin kaynağını, kullanımını, değerlerini ve özelliklerini belirtir ve verinin nasıl değiştirilebileceğini ve işlenebileceğini tanımlayarak veri ambarıyla yakın bağlantısını korur.

Örneğin, bir satış veritabanındaki bir satır şunları içerebilir:

4030 KJ732 299.90

Meta verilerde bunun 4030 model numarasını, KJ732 satış temsilcisi kimliğini ve 299.90 dolarlık toplam satış tutarını temsil ettiği açıklanana kadar bu bilgi anlamsızdır.

Bu nedenle meta veri, veriyi bilgiye dönüştürmenin temel bir bileşenidir ve şu gibi sorulara yanıt bulmaya yardımcı olur:

• Veri ambarı hangi tabloları, öznitelikleri ve anahtarları içeriyor?
• Veriler nereden geldi?
• Veriler kaç defa yeniden yükleniyor?
• Hangi dönüşümler ve arındırma işlemleri uygulandı?

Meta veriler iki kategoriye ayrılır:

1. Teknik Meta Veriler: Bu, onu geliştiren ve yöneten tasarımcılar ve yöneticiler için depoyu tanımlar.
2. İş Meta Verileri: Bu, son kullanıcılara veri ambarında saklanan bilgileri anlama konusunda kolay bir yol sunar.

Sorgu Araçları

Veri ambarlamanın temel amaçlarından biri, işletmelere stratejik kararlar alabilmeleri için ihtiyaç duydukları bilgileri sağlamaktır ve sorgulama araçları, kullanıcıların sistemle etkileşim kurma biçimidir.

Bu araçlar dört kategoriye ayrılır:

1. Sorgu ve raporlama araçları
2. Uygulama geliştirme araçları
3. Veri madenciliği araçları
4. OLAP araçları

Sorgu ve Raporlama Araçları

Sorgulama ve raporlama araçları iki gruba ayrılır: raporlama araçları ve yönetilen sorgulama araçları.

Raporlama araçları Üretim raporlama araçları ve masaüstü rapor yazıcıları olarak daha da alt kategorilere ayrılır:

1. Rapor yazarları: Bunlar, kendi analizlerini oluşturan son kullanıcılar için tasarlanmıştır.
2. Üretim raporlaması: Bunlar, kuruluşların düzenli operasyonel raporlar oluşturmasına ve yazdırma ve hesaplama gibi yüksek hacimli toplu işleri desteklemesine olanak tanır. Popüler örnekler arasında Brio, Business Objects yer almaktadır. OraclePowerSoft ve SAS Enstitüsü.

Yönetilen sorgu araçları Kullanıcı ile veritabanı arasına, SQL ve veritabanı yapısının karmaşıklığını gizleyen bir meta katman ekleyerek son kullanıcılara yardımcı olur.

Uygulama Geliştirme Araçları

Kuruluşun analitik ihtiyaçlarını karşılayacak yerleşik grafiksel ve analitik araçlar mevcut olmadığında, uygulama geliştirme araçları kullanılarak özel raporlar oluşturulur.

Veri Madenciliği Araçları

Veri madenciliği, büyük veri hacimleri içinde anlamlı yeni korelasyonlar, kalıplar ve eğilimler keşfeder ve veri madenciliği araçları bu keşfi otomatikleştirir.

OLAP Araçları

OLAP Bu araçlar çok boyutlu bir veritabanı üzerine kuruludur ve kullanıcıların verileri ayrıntılı, çok boyutlu görünümler aracılığıyla analiz etmelerini sağlar.

Veri Ambarı Veri Yolu Archidoku

Veri ambarı veri yolu, verilerin ambar içinde nasıl aktığını belirler. Bu akış, giriş akışı, yukarı akış, aşağı akış, çıkış akışı ve meta akış olarak kategorize edilebilir.

Otobüsü tasarlarken, veri ambarları arasında paylaşılan boyutları ve gerçekleri dikkate almalısınız.

Veri Merkezleri

A mart tarihi Veri ambarı, kullanıcılara veri sağlamak için kullanılan bir erişim katmanıdır. İnşa edilmesi daha az zaman ve para gerektirdiği için büyük veri ambarları için uygundur, ancak veri ambarının tek bir kabul görmüş tanımı yoktur.

Basitçe ifade etmek gerekirse, veri ambarı, veri deposunun bir alt birimidir. Belirli bir kullanıcı grubu için verileri bölümlere ayırır ve veri deposuyla aynı veritabanında veya fiziksel olarak ayrı bir veritabanında bulunabilir.

Veri deposu ArchiEn İyi Uygulamalar

Sağlam bir veri ambarı mimarisi tasarlamak için aşağıdaki en iyi uygulamaları izleyin:

• İster veri erişimi için optimize edilmiş veri ambarı modelleri kullanın, ister başka bir amaçla kullanın. boyutluNormalleştirilmemiş veya hibrit yaklaşım.
• İster yukarıdan aşağıya, ister aşağıdan yukarıya olsun, uygun bir tasarım yaklaşımı seçin.
• Verilerin hızlı ve doğru bir şekilde işlenmesini ve tek bir doğru bilgi kaynağı haline getirilmesini sağlayın.
• Veri ambarı için veri toplama ve temizleme sürecini dikkatlice tasarlayın.
• Veri ambarının bileşenleri arasında meta verilerin paylaşılmasına olanak tanıyan bir meta veri mimarisi tasarlayın.
• Bir düşünün OperaVeri erişim ihtiyaçları veri tabanının en alt kısmına yakın olduğunda, Ulusal Veri Deposu (ODS) modeli kullanılır.tracBir bilgi piramidi söz konusu olduğunda veya birden fazla operasyonel kaynağa erişilmesi gerektiğinde.
• Veri modelinin yalnızca birleştirilmiş değil, entegre edilmiş olduğundan emin olun; bu durumda, ETL ve veri temizleme araçları edinirken de ideal olan 3NF veri modelini kullanın.

SSS