ETL Test Eğitimi

ETL Testi Nedir?

ETL testi, iş dönüşümü sonrasında kaynaktan hedefe yüklenen verilerin doğruluğundan emin olmak için yapılır. Ayrıca kaynak ve hedef arasında kullanılan çeşitli orta aşamalardaki verilerin doğrulanmasını da içerir. ETL, Çıkarma-Dönüştürme-Yükleme anlamına gelir.

Veri Ambarı Testi

Veri Ambarı Testi veri ambarı içindeki verilerin, şirketin veri çerçevesine uygunluğunun sağlanması amacıyla bütünlük, güvenilirlik, doğruluk ve tutarlılık açısından test edildiği bir test yöntemidir. Veri ambarı testinin temel amacı, veri ambarı içindeki entegre verilerin bir şirketin karar vermesine yetecek kadar güvenilir olmasını sağlamaktır.

ETL nedir?

ETL, Çıkar-Dönüştür-Yükle anlamına gelir ve verilerin kaynak sistemden veri ambarına nasıl yüklendiğini gösteren bir süreçtir. Veriler bir OLTP veritabanından çıkarılır, veri ambarı şemasıyla eşleşecek şekilde dönüştürülür ve veri ambarı veritabanına yüklenir. Birçok veri ambarı aynı zamanda metin dosyaları, eski sistemler ve elektronik tablolar gibi OLTP olmayan sistemlerden gelen verileri de içerir.

Nasıl çalıştığını görelim

Örneğin satış, pazarlama, lojistik gibi farklı departmanları olan bir perakende mağazası var. Her biri müşteri bilgilerini bağımsız olarak ele alıyor ve bu verileri saklama biçimleri oldukça farklı. Satış departmanı bunu müşterinin adına göre, pazarlama departmanı ise müşteri kimliğine göre saklamıştır.

Şimdi eğer müşterinin geçmişini kontrol etmek istiyorlarsa ve farklı pazarlama kampanyaları sayesinde hangi ürünleri satın aldığını bilmek istiyorlarsa; bu çok sıkıcı olacaktır.

Çözüm bir kullanmaktır Veri deposu ETL kullanarak farklı kaynaklardan gelen bilgileri tek bir yapıda depolamak. ETL, birbirine benzemeyen veri kümelerini birleşik bir yapıya dönüştürebilir.Later Bu verilerden anlamlı içgörüler ve raporlar elde etmek için BI araçlarını kullanın.

Bu ETL test eğitimindeki aşağıdaki diyagram, ETL Test süreci akışının YOL HARİTASI'nı ve çeşitli ETL test kavramlarını verir:

Çıkarmak

İlgili verileri çıkarın

Dönüştürmek

Verileri DW (Veri Ambarı) formatına dönüştürün
Anahtar oluşturma – Anahtar, bir varlığı benzersiz şekilde tanımlayan bir veya daha fazla veri özelliğidir. Çeşitli anahtar türleri birincil anahtar, alternatif anahtar, yabancı anahtar, bileşik anahtar, yedek anahtardır. Veri ambarı bu anahtarların sahibidir ve asla başka herhangi bir varlığın bunları atamasına izin vermez.
Verilerin temizlenmesi: Veriler çıkarıldıktan sonra, bir sonraki aşama olan verilerin temizlenmesi ve uygun hale getirilmesi aşamasına geçilecektir. Temizleme, verideki eksikliklerin giderilmesinin yanı sıra hataların tespit edilip düzeltilmesini de sağlar. Uyumluluk, uyumsuz veriler arasındaki çatışmaların kurumsal veri ambarında kullanılabilmesi için çözülmesi anlamına gelir. Bunlara ek olarak bu sistem, kaynak sistem sorunlarını teşhis etmek için kullanılan meta veriler oluşturur ve veri kalitesini artırır.

Yük

Verileri DW'ye (Veri Ambarı) yükleyin
Toplamalar oluşturma – Bir toplama oluşturmak, mevcut olan verileri özetlemek ve depolamaktır. bilgi tablosu Son kullanıcı sorgularının performansını artırmak için.

ETL Test Süreci

Diğer Test Sürecine benzer şekilde ETL de farklı aşamalardan geçer. ETL test sürecinin farklı aşamaları aşağıdaki gibidir

ETL testi beş aşamada gerçekleştirilir

Veri kaynaklarının ve gereksinimlerinin belirlenmesi
Veri toplama
İş mantığını ve boyutlu Modellemeyi uygulayın
Verileri oluşturun ve doldurun
Rapor Oluşturma

ETL Testi Türleri

Test Türleri	Test Süreci
Üretim Doğrulama Testi	"Tablo dengeleme" veya "üretim mutabakatı" bu tür ETL testleri, üretim sistemlerine taşınırken veriler üzerinde yapılır. İş kararınızı desteklemek için üretim sistemlerinizdeki verilerin doğru sırada olması gerekir. Bilişim Veri Doğrulama Seçeneği, üretim sistemlerinin verilerden ödün vermemesini sağlamak için ETL test otomasyonu ve yönetim yetenekleri sağlar.
Kaynak: Target Test (Doğrulama Testi)	Bu tür testler, dönüştürülen veri değerlerinin beklenen veri değerleri olup olmadığını doğrulamak için gerçekleştirilir.
Uygulama Upgrades	Bu tür ETL testleri otomatik olarak oluşturularak test geliştirme süresinden önemli ölçüde tasarruf edilebilir. Bu tür test, eski bir uygulamadan veya depodan çıkarılan verilerin, depodaki veya yeni uygulamadaki verilerle tamamen aynı olup olmadığını kontrol eder.
Meta Veri Testi	Meta veri testi, veri türü kontrolü, veri uzunluğu kontrolü ve indeks/kısıtlama kontrolünün testini içerir.
Veri Tamlığı Testi	Beklenen tüm verilerin kaynaktan hedefe yüklendiğini doğrulamak için veri tamlık testi yapılır. Çalıştırılabilecek testlerden bazıları, basit dönüşümlü veya dönüşümsüz sütunlar için kaynak ve hedef arasındaki sayımları, toplamları ve gerçek verileri karşılaştırmak ve doğrulamaktır.
Veri Doğruluğu Testi	Bu test, verilerin doğru bir şekilde yüklendiğinden ve beklendiği gibi dönüştürüldüğünden emin olmak için yapılır.
Veri Dönüşümü Testi	Veri dönüşümünün testi, çoğu durumda tek bir kaynak yazılarak gerçekleştirilemeyeceği için yapılır. SQL Sorgulama ve çıktıyı hedefle karşılaştırma. Dönüşüm kurallarını doğrulamak amacıyla her satır için birden fazla SQL sorgusunun çalıştırılması gerekebilir.
Veri Kalitesi Testi	Veri Kalitesi Testleri sözdizimi ve referans testlerini içerir. İş süreçlerinde tarih veya sipariş numarası nedeniyle oluşabilecek hataları önlemek amacıyla Veri Kalitesi testleri yapılır. Sözdizimi Testleri: Geçersiz karakterlere, karakter desenine, yanlış büyük veya küçük harf sırasına vb. dayalı kirli verileri raporlayacaktır. Referans Testleri: Veri modeline göre verileri kontrol edecektir. Örneğin: Müşteri Kimliği Veri kalitesi testleri; sayı kontrolü, tarih kontrolü, hassasiyet kontrolü, veri kontrolü, sıfır kontrolü vb. içerir.
Artımlı ETL testi	Bu test, yeni verilerin eklenmesiyle eski ve yeni verilerin veri bütünlüğünü kontrol etmek için yapılır. Artımlı test, artımlı ETL işlemi sırasında eklemelerin ve güncellemelerin beklendiği gibi işlendiğini doğrular.
GUI/Navigasyon Testi	Bu test, ön uç raporlarının gezinme veya GUI yönlerini kontrol etmek için yapılır.

ETL Test Senaryosu Nasıl Oluşturulur

ETL testi, bilgi yönetimi sektöründe farklı araç ve veritabanlarına uygulanabilen bir kavramdır. ETL testinin amacı, iş dönüşümünden sonra kaynaktan hedefe yüklenen verilerin doğruluğundan emin olmaktır. Ayrıca kaynak ve hedef arasında kullanılan çeşitli orta aşamalardaki verilerin doğrulanmasını da içerir.

ETL testi yapılırken, bir ETL test uzmanının her zaman kullanacağı iki belge şunlardır:

ETL eşleme sayfaları:Bir ETL eşleme sayfaları, her bir sütun ve bunların referans tablolarındaki görünümleri de dahil olmak üzere kaynak ve hedef tablolarının tüm bilgilerini içerir. ETL testi, ETL'nin herhangi bir aşamasında verileri doğrulamak için birden fazla birleştirmeyle büyük sorgular yazmayı içerebileceğinden, bir ETL testçisinin SQL sorguları konusunda rahat olması gerekir. ETL eşleme sayfaları, veri doğrulama için sorgu yazarken önemli bir yardım sağlar.
Kaynağın DB Şeması, Target: Haritalama sayfalarındaki herhangi bir ayrıntıyı doğrulamak için el altında bulundurulmalıdır.

ETL Test Senaryoları ve Test Durumları

Test Senaryosu	Test Durumları
Eşleme belgesi doğrulaması	İlgili ETL bilgilerinin sağlanıp sağlanmadığını eşleme belgesinde doğrulayın. Değişiklik günlüğü her eşleme belgesinde tutulmalıdır.
Onaylama	Kaynak ve hedef tablo yapısını ilgili eşleme belgesine göre doğrulayın. Kaynak veri türü ile hedef veri türü aynı olmalıdır Hem kaynak hem de hedefteki veri türlerinin uzunluğu eşit olmalıdır Veri alanı türlerinin ve biçimlerinin belirtildiğini doğrulayın Kaynak veri türü uzunluğu, hedef veri türü uzunluğundan az olmamalıdır Tablodaki sütunların adını eşleme belgesine göre doğrulayın.
Kısıtlama Doğrulaması	Belirli bir tablo için kısıtlamaların beklendiği gibi tanımlandığından emin olun
Veri tutarlılığı sorunları	Belirli bir özniteliğin veri türü ve uzunluğu, anlamsal tanım aynı olmasına rağmen dosyalarda veya tablolarda farklılık gösterebilir. Bütünlük kısıtlamalarının kötüye kullanılması
Tamlık Sorunları	Beklenen tüm verilerin hedef tabloya yüklendiğinden emin olun. Kaynak ve hedef arasındaki kayıt sayılarını karşılaştırın. Reddedilen kayıtları kontrol edin Hedef tabloların sütununda çek verileri kesilmemelidir Sınır değeri analizini kontrol edin WH'ye yüklenen veriler ile kaynak veriler arasındaki anahtar alanların benzersiz değerlerini karşılaştırır
Doğruluk Sorunları	Yanlış yazılan veya yanlış kaydedilen veriler Boş, benzersiz olmayan veya aralık dışı veriler
Dönüşüm	Dönüşüm
Veri kalitesi	Numara kontrolü: Numara kontrolü ve doğrulaması gerekiyor Tarih Kontrolü: Tarih formatını takip etmeli ve tüm kayıtlarda aynı olmalıdır. Hassasiyet Kontrolü Veri kontrolü Boş kontrol
Boş Doğrulama	Belirli bir sütun için "Null Değil"in belirtildiği boş değerleri doğrulayın.
Yinelenen Kontrol	Benzersiz anahtarın, birincil anahtarın ve diğer herhangi bir sütunun, yinelenen satırlar varsa iş gereksinimlerine göre benzersiz olması gerekir Kaynaktaki birden çok sütundan ayıklanan ve tek bir sütunda birleştirilen herhangi bir sütunda yinelenen değerlerin olup olmadığını kontrol edin Müşteri gereksinimlerine göre, yalnızca hedef içindeki birden fazla sütunun birleşiminde kopyaların olmadığından emin olunması gerekir
Tarih Doğrulama	Tarih değerleri ETL geliştirmede birçok alanı kullanıyor Satır oluşturma tarihini bilmek için ETL geliştirme perspektifine göre aktif kayıtları tanımlayın Aktif kayıtları iş gereksinimleri perspektifine göre belirleyin Bazen güncellemeler ve eklemeler tarih değerlerine göre oluşturulur.
Veri Doğrulamasını Tamamlayın	Kaynak ve hedef tablodaki tüm veri kümesini bir sorgu hariç en iyi çözümde doğrulamak için Kaynak eksi hedef ve hedef eksi kaynak yapmamız gerekiyor Eksi sorgusu herhangi bir değer döndürürse, bunların eşleşmeyen satırlar olduğu düşünülmelidir. Intersect deyimini kullanarak satırları kaynak ve hedef arasında eşleştirmek gerekiyor Kesişimin döndürdüğü sayım, kaynak ve hedef tabloların bireysel sayımlarıyla eşleşmelidir Satırların ve sayımların eksi sorgu getirileri kesişiyorsa, kaynak sayısından veya hedef tablodan küçükse, yinelenen satırların var olduğunu düşünebiliriz.
Veri Temizliği	Hazırlama alanına yüklenmeden önce gereksiz sütunlar silinmelidir.

ETL Hata Türleri

Hata Türü	Açıklama
Kullanıcı arayüzü hataları/kozmetik hataları	Uygulamanın GUI'si ile ilgili Yazı tipi stili, yazı tipi boyutu, renkler, hizalama, yazım hataları, gezinme vb.
Sınır Değer Analizi (BVA) ile ilgili hata	Minimum ve maksimum değerler
Eşdeğerlik Sınıfı Bölümleme (ECP) ile ilgili hata	Geçerli ve geçersiz tür
Giriş/Çıkış hataları	Geçerli değerler kabul edilmedi Geçersiz değerler kabul edildi
Hesaplama hataları	Matematiksel hatalar Son çıktı yanlış
Yük Durumu hataları	Birden fazla kullanıcıya izin vermez Müşterinin beklenen yüke izin vermiyor
Yarış Durumu hataları	Sistem kilitleniyor ve kilitleniyor Sistem istemci platformlarını çalıştıramıyor
Sürüm kontrol hataları	Logo eşleşmesi yok Sürüm bilgisi mevcut değil Bu genellikle şu durumlarda meydana gelir: Gerileme testi
Donanım hataları	Cihaz uygulamaya yanıt vermiyor
Yardım Kaynağı hataları	Yardım belgelerindeki hatalar

Veritabanı Testi ile ETL Testi arasındaki fark

ETL Testi	Veri Tabanı Testi
Verilerin beklendiği gibi taşınıp taşınmadığını doğrular	Birincil amaç, verilerin Veri Modelinde tanımlanan kurallara/standartlara uyup uymadığını kontrol etmektir
Kaynak ve hedefteki sayıların eşleşip eşleşmediğini doğrular Dönüştürülen verilerin beklentilere uygun olup olmadığını doğrular	Yetim kayıtlarının bulunmadığını ve yabancı-birincil anahtar ilişkilerinin sürdürüldüğünü doğrulayın
ETL sırasında yabancı birincil anahtar ilişkilerinin korunduğunu doğrular	Gereksiz tabloların olmadığını ve veritabanının en iyi şekilde normalleştirildiğini doğrular
Yüklenen verilerde çoğaltmayı doğrular	Gerektiğinde sütunlarda verilerin eksik olup olmadığını doğrulayın

Bir ETL Test Uzmanının Sorumlulukları

Bir ETL test uzmanının temel sorumlulukları üç kategoriye ayrılmıştır

Aşama tablosu/ SFS veya MFS
İş dönüşümü mantığı uygulandı
Target Bir dönüşüm uygulandıktan sonra sahne alanı dosyasından veya tablodan tablo yükleme.

Bir ETL test uzmanının sorumluluklarından bazıları şunlardır:

ETL yazılımını test edin
ETL veri ambarının bileşenlerini test edin
Arka uç veri odaklı testi yürütün
Oluşturun, tasarlayın ve yürütün test senaryoları, test planları ve test koşum takımı
Sorunu tanımlayın ve olası sorunlara çözüm sağlayın
Gereksinimleri ve tasarım özelliklerini onaylayın
Veri aktarımları ve düz dosyayı test etme
Sayım testi gibi çeşitli senaryolar için SQL sorguları3 yazma

ETL'de Performans Testi

ETL'de Performans Testi bir ETL sisteminin birden fazla kullanıcı ve işlem yükünü kaldırabilmesini sağlayan bir test tekniğidir. ETL'nin temel amacı Performans testi performans darboğazlarını belirleyip ortadan kaldırarak oturum performansını optimize etmek ve iyileştirmektir. Kaynak ve hedef veritabanları, eşlemeler, oturumlar ve sistemin performans darboğazları olması muhtemeldir.

Performans Testi/Ayarlama için kullanılan en iyi araçlardan biri Informatica'dır.

ETL Testinin Otomasyonu

ETL testinin genel metodolojisi, SQL komut dosyası kullanmak veya verileri "göze almak"tır. ETL testine yönelik bu yaklaşımlar zaman alıcıdır, hataya açıktır ve nadiren tam sonuç sağlar. test kapsamı. Hızlandırmak, kapsamı geliştirmek, maliyetleri azaltmak, iyileştirmek kusur Üretim ve geliştirme ortamlarında ETL testinin tespit oranı, otomasyon çağın ihtiyacıdır. Böyle bir araç Informatica'dır.

ETL Testi için En İyi Uygulamalar

Verilerin doğru şekilde dönüştürüldüğünden emin olun
Öngörülen veriler herhangi bir veri kaybı ve kesinti olmadan veri ambarına yüklenmelidir.
ETL uygulamasının uygun şekilde reddedip varsayılan değerlerle değiştirdiğinden ve geçersiz verileri bildirdiğinden emin olun
Ölçeklenebilirliği ve performansı doğrulamak için veri ambarına yüklenen verilerin öngörülen ve beklenen zaman dilimleri dahilinde olmasını sağlamanız gerekiyor
Görünürlükten bağımsız olarak tüm yöntemler uygun birim testlerine sahip olmalıdır
Etkinliğini ölçmek için tüm birim testlerinde uygun kapsam teknikleri kullanılmalıdır.
Test senaryosu başına bir iddia için çabalayın
oluşturmak birim testleri istisnaları hedefleyen

Ödeme - ETL Testi Mülakat Soruları ve Cevapları

Beğenebilirsin: