ETL Test Eğitimi

ETL Testi Nedir?

ETL testi, iş dönüşümü sonrasında kaynaktan hedefe yüklenen verilerin doğruluğundan emin olmak için yapılır. Ayrıca kaynak ve hedef arasında kullanılan çeşitli orta aşamalardaki verilerin doğrulanmasını da içerir. ETL, Çıkarma-Dönüştürme-Yükleme anlamına gelir.

Veri Ambarı Testi

Veri Ambarı Testi veri ambarı içindeki verilerin, şirketin veri çerçevesine uygunluğunun sağlanması amacıyla bütünlük, güvenilirlik, doğruluk ve tutarlılık açısından test edildiği bir test yöntemidir. Veri ambarı testinin temel amacı, veri ambarı içindeki entegre verilerin bir şirketin karar vermesine yetecek kadar güvenilir olmasını sağlamaktır.

ETL nedir?

ETL, Çıkar-Dönüştür-Yükle anlamına gelir ve verilerin kaynak sistemden veri ambarına nasıl yüklendiğini gösteren bir süreçtir. Veriler bir OLTP veritabanından çıkarılır, veri ambarı şemasıyla eşleşecek şekilde dönüştürülür ve veri ambarı veritabanına yüklenir. Birçok veri ambarı aynı zamanda metin dosyaları, eski sistemler ve elektronik tablolar gibi OLTP olmayan sistemlerden gelen verileri de içerir.

Nasıl çalıştığını görelim

Örneğin satış, pazarlama, lojistik gibi farklı departmanları olan bir perakende mağazası var. Her biri müşteri bilgilerini bağımsız olarak ele alıyor ve bu verileri saklama biçimleri oldukça farklı. Satış departmanı bunu müşterinin adına göre, pazarlama departmanı ise müşteri kimliğine göre saklamıştır.

Şimdi eğer müşterinin geçmişini kontrol etmek istiyorlarsa ve farklı pazarlama kampanyaları sayesinde hangi ürünleri satın aldığını bilmek istiyorlarsa; bu çok sıkıcı olacaktır.

Çözüm bir kullanmaktır Veri deposu ETL kullanarak farklı kaynaklardan gelen bilgileri tek bir yapıda depolamak. ETL, birbirine benzemeyen veri kümelerini birleşik bir yapıya dönüştürebilir.Later Bu verilerden anlamlı içgörüler ve raporlar elde etmek için BI araçlarını kullanın.

Bu ETL test eğitimindeki aşağıdaki diyagram, ETL Test süreci akışının YOL HARİTASI'nı ve çeşitli ETL test kavramlarını verir:

1) Ayıkla

İlgili verileri çıkarın

2) Dönüştür

Verileri DW (Veri Ambarı) formatına dönüştürün
Anahtar oluşturma – Anahtar, bir varlığı benzersiz şekilde tanımlayan bir veya daha fazla veri özelliğidir. Çeşitli anahtar türleri birincil anahtar, alternatif anahtar, yabancı anahtar, bileşik anahtar, yedek anahtardır. Veri ambarı bu anahtarların sahibidir ve asla başka herhangi bir varlığın bunları atamasına izin vermez.
Verilerin temizlenmesi: Veriler çıkarıldıktan sonra, bir sonraki aşama olan verilerin temizlenmesi ve uygun hale getirilmesi aşamasına geçilecektir. Temizleme, verideki eksikliklerin giderilmesinin yanı sıra hataların tespit edilip düzeltilmesini de sağlar. Uyumluluk, uyumsuz veriler arasındaki çatışmaların kurumsal veri ambarında kullanılabilmesi için çözülmesi anlamına gelir. Bunlara ek olarak bu sistem, kaynak sistem sorunlarını teşhis etmek için kullanılan meta veriler oluşturur ve veri kalitesini artırır.

3) Yük

Verileri DW'ye (Veri Ambarı) yükleyin
Toplamalar oluşturma – Bir toplama oluşturmak, mevcut olan verileri özetlemek ve depolamaktır. bilgi tablosu Son kullanıcı sorgularının performansını artırmak için.

ETL Test Süreci

Diğer Test Sürecine benzer şekilde ETL de farklı aşamalardan geçer. ETL test sürecinin farklı aşamaları aşağıdaki gibidir

ETL testi beş aşamada gerçekleştirilir

Veri kaynaklarının ve gereksinimlerinin belirlenmesi
Veri toplama
İş mantığını ve boyutlu Modellemeyi uygulayın
Verileri oluşturun ve doldurun
Rapor Oluşturma

ETL Testi Türleri

Üretim Doğrulama Testi
Test süreci: "Tablo dengeleme" veya "üretim mutabakatı" bu tür ETL testleri, üretim sistemlerine taşınırken veriler üzerinde yapılır. İş kararınızı desteklemek için üretim sistemlerinizdeki verilerin doğru sırada olması gerekir. Bilişim Veri Doğrulama Seçeneği, üretim sistemlerinin verilerden ödün vermemesini sağlamak için ETL test otomasyonu ve yönetim yetenekleri sağlar.
Kaynak: Target Test (Doğrulama Testi)
Test süreci: Bu tür testler, dönüştürülen veri değerlerinin beklenen veri değerleri olup olmadığını doğrulamak için gerçekleştirilir.
Uygulama Upgrades
Test süreci: Bu tür ETL testleri otomatik olarak oluşturularak test geliştirme süresinden önemli ölçüde tasarruf edilebilir. Bu tür test, eski bir uygulamadan veya depodan çıkarılan verilerin, depodaki veya yeni uygulamadaki verilerle tamamen aynı olup olmadığını kontrol eder.
Meta Veri Testi
Test süreci: Meta veri testi, veri türü kontrolü, veri uzunluğu kontrolü ve indeks/kısıtlama kontrolünün testini içerir.
Veri Tamlığı Testi
Test süreci: Beklenen tüm verilerin kaynaktan hedefe yüklendiğini doğrulamak için veri tamlık testi yapılır. Çalıştırılabilecek testlerden bazıları, basit dönüşümlü veya dönüşümsüz sütunlar için kaynak ve hedef arasındaki sayımları, toplamları ve gerçek verileri karşılaştırmak ve doğrulamaktır.
Veri Doğruluğu Testi
Test süreci: Bu test, verilerin doğru bir şekilde yüklendiğinden ve beklendiği gibi dönüştürüldüğünden emin olmak için yapılır.
Veri Dönüşümü Testi
Test süreci: Veri dönüşümünün testi, çoğu durumda tek bir kaynak yazılarak gerçekleştirilemeyeceği için yapılır. SQL Sorgulama ve çıktıyı hedefle karşılaştırma. Dönüşüm kurallarını doğrulamak amacıyla her satır için birden fazla SQL sorgusunun çalıştırılması gerekebilir.
Veri Kalitesi Testi
Test süreci:
Veri Kalitesi Testleri sözdizimi ve referans testlerini içerir. İş süreçlerinde tarih veya sipariş numarası nedeniyle oluşabilecek hataları önlemek amacıyla Veri Kalitesi testleri yapılır.

Sözdizimi Testleri: Geçersiz karakterlere, karakter desenine, yanlış büyük veya küçük harf sırasına vb. dayalı kirli verileri raporlayacaktır.

Referans Testleri: Veri modeline göre verileri kontrol edecektir. Örneğin: Müşteri Kimliği

Veri kalitesi testleri; sayı kontrolü, tarih kontrolü, hassasiyet kontrolü, veri kontrolü, sıfır kontrolü vb. içerir.
Artımlı ETL testi
Test süreci: Bu test, yeni verilerin eklenmesiyle eski ve yeni verilerin veri bütünlüğünü kontrol etmek için yapılır. Artımlı test, artımlı ETL işlemi sırasında eklemelerin ve güncellemelerin beklendiği gibi işlendiğini doğrular.
GUI/Navigasyon Testi
Test süreci: Bu test, ön uç raporlarının gezinme veya GUI yönlerini kontrol etmek için yapılır.

ETL Test Senaryosu Nasıl Oluşturulur

ETL testi, bilgi yönetimi sektöründe farklı araç ve veritabanlarına uygulanabilen bir kavramdır. ETL testinin amacı, iş dönüşümünden sonra kaynaktan hedefe yüklenen verilerin doğruluğundan emin olmaktır. Ayrıca kaynak ve hedef arasında kullanılan çeşitli orta aşamalardaki verilerin doğrulanmasını da içerir.

ETL testi yapılırken, bir ETL test uzmanının her zaman kullanacağı iki belge şunlardır:

ETL eşleme sayfaları:Bir ETL eşleme sayfaları, her bir sütun ve bunların referans tablolarındaki görünümleri de dahil olmak üzere kaynak ve hedef tablolarının tüm bilgilerini içerir. ETL testi, ETL'nin herhangi bir aşamasında verileri doğrulamak için birden fazla birleştirmeyle büyük sorgular yazmayı içerebileceğinden, bir ETL testçisinin SQL sorguları konusunda rahat olması gerekir. ETL eşleme sayfaları, veri doğrulama için sorgu yazarken önemli bir yardım sağlar.
Kaynağın DB Şeması, Target: Haritalama sayfalarındaki herhangi bir ayrıntıyı doğrulamak için el altında bulundurulmalıdır.

ETL Test Senaryoları ve Test Durumları

Eşleme belgesi doğrulaması
Test Durumları: İlgili ETL bilgilerinin sağlanıp sağlanmadığını eşleme belgesinde doğrulayın. Değişiklik günlüğü her eşleme belgesinde tutulmalıdır.
Onaylama
Test Durumları:
1) Kaynak ve hedef tablo yapısını ilgili eşleme belgelerine göre doğrulayın.
2) Kaynak veri türü ve hedef veri türü aynı olmalıdır
3) Kaynak ve hedefteki veri türlerinin uzunlukları eşit olmalıdır
4) Veri alanı türlerinin ve biçimlerinin belirtildiğini doğrulayın
5) Kaynak veri türü uzunluğu hedef veri türü uzunluğundan az olmamalıdır
6) Tablodaki sütunların adlarını mapping doc'a göre doğrulayın.
Kısıtlama Doğrulaması
Test Durumları: Belirli bir tablo için kısıtlamaların beklendiği gibi tanımlandığından emin olun
Veri tutarlılığı sorunları
Test Durumları:
1) Belirli bir özniteliğin veri türü ve uzunluğu dosyalarda veya tablolarda değişiklik gösterebilir, ancak anlamsal tanımı aynıdır.
2) Bütünlük kısıtlamalarının kötüye kullanılması
Tamlık Sorunları
Test Durumları:
1) Beklenen tüm verilerin hedef tabloya yüklendiğinden emin olun.
2) Kaynak ve hedef arasındaki kayıt sayılarını karşılaştırın.
3) Reddedilen kayıtları kontrol edin
4) Hedef tabloların sütunlarındaki verilerin kesilmemesi gerektiğini kontrol edin
5) Sınır değer analizini kontrol edin
6) WH'ye yüklenen veriler ile kaynak veriler arasındaki anahtar alanların benzersiz değerlerini karşılaştırır
Doğruluk Sorunları
Test Durumları:
1) Yanlış yazılmış veya hatalı kaydedilmiş veriler
2) Boş, benzersiz olmayan veya aralık dışı veriler
Dönüşüm
Test Durumları: Dönüşüm
Veri kalitesi
Test Durumları:
1) Sayı kontrolü: Sayı kontrolü ve doğrulaması gerekiyor
2) Tarih Kontrolü: Tarih formatını takip etmeleri gerekiyor ve bu format tüm kayıtlarda aynı olmalı.
3) Hassasiyet Kontrolü
4) Veri kontrolü
5) Boş kontrol
Boş Doğrulama
Test Durumları: Belirli bir sütun için "Null Değil"in belirtildiği boş değerleri doğrulayın.
Yinelenen Kontrol
Test Durumları:
1) Benzersiz anahtarın, birincil anahtarın ve diğer tüm sütunların iş gereksinimlerine göre benzersiz olması gerektiğini doğrulamak gerekir, yinelenen satırlar varsa
2) Kaynaktaki birden fazla sütundan veri çıkarılıp tek bir sütunda birleştirildiğinde herhangi bir sütunda yinelenen değer olup olmadığını kontrol edin
3) Müşteri gereksinimlerine göre, yalnızca hedef içindeki birden fazla sütun kombinasyonunda yinelenen öğelerin olmadığından emin olunması gerekir
Tarih Doğrulama
Test Durumları: Tarih değerleri ETL geliştirmede birçok alanı kullanıyor
1) Satır oluşturma tarihini bilmek
2) ETL geliştirme perspektifine göre etkin kayıtları belirleyin
3) İş gereksinimleri perspektifine göre etkin kayıtları belirleyin
4) Bazen tarih değerlerine göre güncellemeler ve eklemeler yapılır.
Veri Doğrulamasını Tamamlayın
Test Durumları:
1) Kaynak ve hedef tablodaki tam veri setini en iyi çözümdeki bir sorguyu çıkararak doğrulamak
2) Kaynak eksi hedef ve hedef eksi kaynak hesaplamamız gerekiyor
3) Eksi sorgusu herhangi bir değer döndürüyorsa, bunlar eşleşmeyen satırlar olarak değerlendirilmelidir.
4) Kaynak ve hedef arasında satırların kesişim ifadesi kullanılarak eşleştirilmesi gerekir
5) Intersect tarafından döndürülen sayım, kaynak ve hedef tabloların bireysel sayımlarıyla eşleşmelidir
6) Eğer eksi sorgusu satırların dönüş sayısı ve kesişim sayısı kaynak tablonun veya hedef tablonun sayısından az ise o zaman yinelenen satırların var olduğu düşünülebilir.
Veri Temizliği
Test Durumları: Hazırlama alanına yüklenmeden önce gereksiz sütunlar silinmelidir.

ETL Hata Türleri

Hata Türü	Açıklamalar
Kullanıcı arayüzü hataları/kozmetik hataları	• Uygulamanın GUI'si ile ilgili • Yazı tipi stili, yazı boyutu, renkler, hizalama, yazım hataları, gezinme vb.
Sınır Değer Analizi (BVA) ile ilgili hata	• Minimum ve maksimum değerler
Eşdeğerlik Sınıfı Bölümleme (ECP) ile ilgili hata	• Geçerli ve geçersiz tür
Giriş/Çıkış hataları	• Geçerli değerler kabul edilmedi • Geçersiz değerler kabul edildi
Hesaplama hataları	• Matematiksel hatalar • Son çıktı yanlış
Yük Durumu hataları	• Birden fazla kullanıcıya izin vermez • Müşterinin beklenen yükü karşılamasına izin vermez
Yarış Durumu hataları	• Sistem çökmesi ve donması • Sistem istemci platformlarını çalıştıramıyor
Sürüm kontrol hataları	• Logo eşleşmesi yok • Sürüm bilgisi mevcut değil • Bu genellikle şu durumlarda meydana gelir: Gerileme testi
Donanım hataları	• Cihaz uygulamaya yanıt vermiyor
Yardım Kaynağı hataları	• Yardım belgelerindeki hatalar

Veritabanı Testi ile ETL Testi arasındaki fark

ETL Testi	Veri Tabanı Testi
Verilerin beklendiği gibi taşınıp taşınmadığını doğrular	Birincil amaç, verilerin Veri Modelinde tanımlanan kurallara/standartlara uyup uymadığını kontrol etmektir
Kaynak ve hedefteki sayıların eşleşip eşleşmediğini doğrular Dönüştürülen verilerin beklentilere uygun olup olmadığını doğrular	Yetim kayıtlarının bulunmadığını ve yabancı-birincil anahtar ilişkilerinin sürdürüldüğünü doğrulayın
ETL sırasında yabancı birincil anahtar ilişkilerinin korunduğunu doğrular	Gereksiz tabloların olmadığını ve veritabanının en iyi şekilde normalleştirildiğini doğrular
Yüklenen verilerde çoğaltmayı doğrular	Gerektiğinde sütunlarda verilerin eksik olup olmadığını doğrulayın

Bir ETL Test Uzmanının Sorumlulukları

Bir ETL test uzmanının temel sorumlulukları üç kategoriye ayrılmıştır

Aşama tablosu/ SFS veya MFS
İş dönüşümü mantığı uygulandı
Target Bir dönüşüm uygulandıktan sonra sahne alanı dosyasından veya tablodan tablo yükleme.

Bir ETL test uzmanının sorumluluklarından bazıları şunlardır:

ETL yazılımını test edin
ETL veri ambarının bileşenlerini test edin
Arka uç veri odaklı testi yürütün
Oluşturun, tasarlayın ve yürütün test senaryoları, test planları ve test koşum takımı
Sorunu tanımlayın ve olası sorunlara çözüm sağlayın
Gereksinimleri ve tasarım özelliklerini onaylayın
Veri aktarımları ve düz dosyayı test etme
Sayım testi gibi çeşitli senaryolar için SQL sorguları3 yazma

ETL'de Performans Testi

ETL'de Performans Testi bir ETL sisteminin birden fazla kullanıcı ve işlem yükünü kaldırabilmesini sağlayan bir test tekniğidir. ETL'nin temel amacı Performans testi performans darboğazlarını belirleyip ortadan kaldırarak oturum performansını optimize etmek ve iyileştirmektir. Kaynak ve hedef veritabanları, eşlemeler, oturumlar ve sistemin performans darboğazları olması muhtemeldir.

Performans Testi/Ayarlama için kullanılan en iyi araçlardan biri Informatica'dır.

ETL Testinin Otomasyonu

ETL testinin genel metodolojisi, SQL komut dosyası kullanmak veya verileri "göze almak"tır. ETL testine yönelik bu yaklaşımlar zaman alıcıdır, hataya açıktır ve nadiren tam sonuç sağlar. test kapsamı. Hızlandırmak, kapsamı geliştirmek, maliyetleri azaltmak, iyileştirmek kusur Üretim ve geliştirme ortamlarında ETL testinin tespit oranı, otomasyon çağın ihtiyacıdır. Böyle bir araç Informatica'dır.

ETL Testi için En İyi Uygulamalar

Verilerin doğru şekilde dönüştürüldüğünden emin olun
Öngörülen veriler herhangi bir veri kaybı ve kesinti olmadan veri ambarına yüklenmelidir.
ETL uygulamasının uygun şekilde reddedip varsayılan değerlerle değiştirdiğinden ve geçersiz verileri bildirdiğinden emin olun
Ölçeklenebilirliği ve performansı doğrulamak için veri ambarına yüklenen verilerin öngörülen ve beklenen zaman dilimleri dahilinde olmasını sağlamanız gerekiyor
Görünürlükten bağımsız olarak tüm yöntemler uygun birim testlerine sahip olmalıdır
Etkinliğini ölçmek için tüm birim testlerinde uygun kapsam teknikleri kullanılmalıdır.
Test senaryosu başına bir iddia için çabalayın
oluşturmak birim testleri istisnaları hedefleyen

Ödeme - ETL Testi Mülakat Soruları ve Cevapları