ETL Test Eğitimi

ETL nedir?

ETL için standlar Extract-Dönüştürme-YüklemeBu, verilerin kaynak sistemden veri ambarına nasıl aktarıldığını açıklar. Veriler şu şekilde aktarılır:tracOLTP veritabanından alınan, veri ambarı şemasına uyacak şekilde dönüştürülen ve veri ambarı veritabanına yüklenen veriler. Birçok veri ambarı ayrıca metin dosyaları, eski uygulamalar ve elektronik tablolar gibi OLTP dışı sistemlerden gelen verileri de içerir.

Örneğin, bir perakende mağazasında satış, pazarlama ve lojistik gibi ayrı departmanlar olabilir. Her departman müşteri bilgilerini bağımsız olarak işler ve her birinin bu verileri saklama şekli farklıdır. Satış departmanı kayıtları müşteri adına göre saklarken, pazarlama departmanı müşteri kimliğini kullanır.

İş ekipleri, bir müşterinin farklı pazarlama kampanyalarındaki tüm satın alma geçmişini incelemek istediklerinde, birbirinden kopuk veriler bunu oldukça zahmetli hale getiriyor. Çözüm ise şunu kullanmaktır: Veri deposu ETL kullanarak farklı kaynaklardan gelen bilgileri tek tip bir yapıda depolamak. ETL, farklı veri kümelerini birleşik bir yapıya dönüştürebilir, böylece BI araçları daha sonra anlamlı içgörüler ve raporlar elde edebilir.

Aşağıdaki diyagram, ETL Testi işlem akışını ve bu kılavuz boyunca kullanacağınız temel kavramları göstermektedir:

1) Örnektract

• ExtracBir veya daha fazla kaynak sistemden ilgili veriler.

2) Dönüştür

• Verileri Veri Ambarı (DW) formatına dönüştürün.
• Anahtarlar oluşturma: Anahtar, bir varlığı benzersiz şekilde tanımlayan bir veya daha fazla veri özniteliğidir. Çeşitli anahtar türleri Anahtarlar; birincil anahtar, alternatif anahtar, yabancı anahtar, bileşik anahtar ve vekil anahtardır. Veri ambarı bu anahtarların sahibidir ve başka hiçbir varlığın bunları atamasına izin vermez.
• Veri temizleme: veriler çıkarıldıktan sonratracBu işlem tamamlandıktan sonra, temizleme ve uyumluluk aşamasına geçilir. Temizleme işlemi eksiklikleri giderir ve hataları belirler. Uyumluluk işlemi ise uyumsuz veri kümeleri arasındaki çakışmaları çözerek kurumsal veri ambarında kullanılabilmelerini sağlar. Sistem ayrıca kaynak sistem sorunlarını teşhis etmeye ve veri kalitesini iyileştirmeye yardımcı olan meta veriler de oluşturur.

3) Yük

• Verileri Veri Ambarına (DW) yükleyin.
• Toplu veriler oluşturma: Toplu veri, bir kaynaktan gelen verileri özetler ve depolar. bilgi tablosu Son kullanıcı sorgularının performansını iyileştirmek için.

ETL Testi Nedir?

ETL testleri, iş dönüşümünden sonra kaynaktan hedefe yüklenen verilerin doğruluğunu sağlamak için yapılır. Ayrıca, kaynak ve hedef arasındaki çeşitli ara aşamalardaki verilerin doğrulanmasını da içerir. ETL, Ex (Extract, Data, Data, Data) kelimelerinin kısaltmasıdır.tract-Transform-Load, ETL Testi bu üç aşamanın her birini ve verilerin bunlar arasında geçiş yaptığı noktaları kapsar.

ETL testleri neden önemlidir?

ETL testinin ne olduğunu anladıktan sonra, akla gelen bir sonraki soru, kuruluşların neden bu kadar çok çaba harcadığıdır. İş kararları doğru, eksiksiz ve güvenilir verilere dayanır; bu nedenle tek bir dönüşüm hatası finansal raporlara, müşteri analizlerine ve düzenleyici açıklamalara kadar uzanan sonuçlar doğurabilir.

Aşağıdaki noktalar, güçlü ETL testlerinin pratik değerini açıklamaktadır:

• Veri doğruluğu: Bu, iş kuralları tarafından dönüştürülen değerlerin belgelenmiş haritayla eşleştiğini doğrular.ping sessiz yolsuzluğu önleyen özellikler.
• Güvenilir habercilik: Kontrol panelleri ve iş zekası araçları veri ambarına bağlıdır, bu nedenle doğrulanmış ETL işlem hatları, sonraki tüm raporları ve KPI'ları korur.
• Mevzuata uygunluk: Bankacılık, sağlık hizmetleri ve sigorta gibi sektörler, veri soy ağacının ve bütünlüğünün uçtan uca korunduğunu kanıtlamak zorundadır.
• Azaltılmış yeniden çalışma: Daha düşük üretim ortamlarında hataları tespit etmek, maliyetli üretim yeniden yüklemelerini, manuel mutabakatları ve müşteriyle ilgili hataları önler.
• Performans güvencesi: ETL testleri, veri ambarının veri hacmi arttıkça ölçeklenebilirliğini koruyabilmesi için yük aralıklarını, verimliliği ve darboğazları ölçer.

Bu motivasyonlar açıklandıktan sonra, bir sonraki bölümde ETL test uzmanlarının gerçek projelerde izlediği yapılandırılmış süreç ele alınacaktır.

ETL Test Süreci

Diğer test süreçlerine benzer şekilde, ETL de farklı aşamalardan geçer. ETL test sürecinin farklı aşamaları şunlardır:

ETL testleri beş aşamada gerçekleştirilir:

1. Veri kaynaklarının ve gereksinimlerinin belirlenmesi
2. Veri toplama
3. İş mantığını ve boyutlu modellemeyi uygulayın.
4. Verileri oluşturun ve doldurun
5. Raporlar oluşturun

Genel süreç göz önünde bulundurularak, bu yaşam döngüsüne uyan belirli test türlerine bakalım.

ETL Testi Türleri

1. Üretim Doğrulama Testi
   Test Süreci: "Tablo dengeleme" veya "üretim mutabakatı" olarak da adlandırılan bu ETL testi türü, veriler üretim sistemlerine aktarılırken gerçekleştirilir. İş kararlarını desteklemek için üretim verilerinin doğru sırada olması gerekir. Bilişim Veri Doğrulama Seçeneği, ETL test otomasyonu ve yönetim yetenekleri sağlayarak üretim sistemlerinin hatalı verilerden etkilenmemesini sağlar.
2. Kaynak: Target Test (Doğrulama Testi)
   Test Süreci: Bu test türü, dönüştürülen veri değerlerinin beklenen hedef değerlerle eşleşip eşleşmediğini doğrular.
3. Uygulama Upgrades
   Test Süreci: Bu tür ETL testleri otomatik olarak oluşturulabilir ve bu da test geliştirme süresinden önemli ölçüde tasarruf sağlar. Verilerin dışa aktarımının doğru olup olmadığını kontrol eder.tracEski bir uygulamadan veya depodan alınan veriler, yeni bir uygulamadaki veya depodaki verilerle eşleşir.
4. Meta Veri Testi
   Test Süreci: Meta veri testleri, veri türü kontrollerini, veri uzunluğu kontrollerini ve indeks veya kısıtlama kontrollerini içerir.
5. Veri Tamlığı Testi
   Test Süreci: Veri eksiksizliği testi, kaynaktan hedefe beklenen tüm verilerin yüklendiğini doğrular. Yaygın testler arasında, dönüşümün basit veya hiç olmadığı durumlarda kaynak ve hedef sütunlar arasındaki kayıt sayılarının, toplamların ve gerçek verilerin karşılaştırılması ve doğrulanması yer alır.
6. Veri Doğruluğu Testi
   Test Süreci: Bu test, verilerin beklendiği gibi doğru şekilde yüklendiğini ve dönüştürüldüğünü garanti eder.
7. Veri Dönüşümü Testi
   Test Süreci: Test verisi dönüşümü genellikle tek bir kaynaktan gerçekleştirilemez. SQL Sorgu ve çıktı karşılaştırması. Dönüştürme kurallarını doğrulamak için her satır için birden fazla SQL sorgusu gerekebilir.
8. Veri Kalitesi Testi
   Test Süreci:

   Veri kalitesi testleri, sözdizimi testleri ve referans testlerini içerir. Bu testler, yanlış tarihler veya sipariş numaralarından kaynaklanan iş süreci hatalarını önler.

   Sözdizimi testleri, geçersiz karakterlere, karakter kalıplarına ve büyük veya küçük harf sıralamasındaki hatalara dayanarak hatalı veri raporu verir.

   Referans testleri, verilerin veri modeliyle uyumluluğunu kontrol eder. Örneğin: Müşteri Kimliği.

   Veri kalitesi testleri ayrıca sayı kontrollerini, tarih kontrollerini, hassasiyet kontrollerini, veri kontrollerini ve boş değer kontrollerini de içerir.

9. Artımlı ETL Testi
   Test Süreci: Bu test, yeni verilerin eklenmesiyle eski ve yeni verilerin veri bütünlüğünü kontrol eder. Artımlı test, artımlı ETL süreci sırasında ekleme ve güncelleme işlemlerinin beklendiği gibi işlendiğini doğrular.
10. GUI/Navigasyon Testi
    Test Süreci: Bu test, ön uç raporlarının gezinme ve grafik kullanıcı arayüzü (GUI) yönlerini kontrol eder.

ETL Test Senaryosu Nasıl Oluşturulur

ETL Testi, bilgi yönetimi sektöründe farklı araçlara ve veritabanlarına uygulanabilen bir kavramdır. ETL testinin amacı, iş dönüşümü sonrasında bir kaynaktan bir hedefe yüklenen verilerin doğru olduğundan emin olmaktır. Bu aynı zamanda kaynak ve hedef arasındaki çeşitli ara aşamalarda verilerin doğrulanmasını da içerir.

ETL testleri yapılırken, bir ETL test uzmanı her zaman iki belge kullanır:

1. ETL haritasıping sayfalar: Bir ETL haritasıping Bu sayfa, her sütun ve referans tablolardaki karşılıkları da dahil olmak üzere kaynak ve hedef tabloların tüm bilgilerini içerir. ETL test uzmanlarının SQL sorgularına aşina olması gerekir çünkü ETL testleri, herhangi bir aşamada verileri doğrulamak için birden fazla birleştirme içeren büyük sorgular yazmayı içerebilir. ETL haritasıping Bu tablolar, veri doğrulama sorguları yazarken önemli ölçüde yardımcı olur.
2. Kaynak ve hedef veritabanı şemaları: Haritadaki herhangi bir detayı doğrulamak için el altında bulundurulmalıdır.ping çarşaflar.

ETL Test Senaryoları ve Test Durumları

1. Haritaping belge doğrulama
   Test Durumları: Haritada ilgili ETL bilgilerinin yer alıp almadığını doğrulayın.ping Her haritada değişiklik günlüğü tutulmalıdır.ping doc.
2. Onaylama
   Test Durumları:

   1) Kaynak ve hedef tablo yapısını ilgili haritaya göre doğrulayın.ping doc.
   2) Kaynak veri türü ve hedef veri türü aynı olmalıdır.
   3) Kaynak ve hedefteki veri tiplerinin uzunlukları eşit olmalıdır.
   4) Veri alanı türlerinin ve biçimlerinin belirtildiğinden emin olun.
   5) Kaynak veri türünün uzunluğu, hedef veri türünün uzunluğundan az olmamalıdır.
   6) Tablodaki sütun adlarını haritaya göre doğrulayın.ping doc.

3. Kısıtlama Doğrulaması
   Test Durumları: Belirtilen tablo için kısıtlamaların beklendiği gibi tanımlandığından emin olun.
4. Veri tutarlılığı sorunları
   Test Durumları:

   1) Belirli bir özniteliğin veri türü ve uzunluğu, anlamsal tanımı aynı olsa bile, dosyalar veya tablolar arasında değişiklik gösterebilir.
   2) Bütünlük kısıtlamalarının kötüye kullanılması.

5. Tamlık Sorunları
   Test Durumları:

   1) Beklenen tüm verilerin hedef tabloya yüklendiğinden emin olun.
   2) Kaynak ve hedef arasındaki kayıt sayılarını karşılaştırın.
   3) Reddedilen kayıtları kontrol edin.
   4) Hedef tabloların sütunlarındaki verilerin kesilmediğini kontrol edin.
   5) Sınır değer analizini kontrol edin.
   6) Veri ambarına yüklenen veriler ile kaynak veriler arasındaki anahtar alanların benzersiz değerlerini karşılaştırın.

6. Doğruluk Sorunları
   Test Durumları:

   1) Yazım hatası içeren veya yanlış kaydedilmiş veriler.
   2) Boş, benzersiz olmayan veya aralık dışı veriler.

7. Başladığı
   Test Durumları: Haritadaki her iş kuralının ve dönüşüm mantığının doğruluğunu teyit edin.ping Belge, hedef sisteme ulaşmadan önce kaynak verilere doğru şekilde uygulanır.
8. Veri kalitesi
   Test Durumları:

   1) Sayı kontrolü: Sayısal biçimleri ve değerleri doğrulayın.
   2) Tarih kontrolü: Tarihler tek bir formatta olmalı ve kayıtlar arasında tutarlı olmalıdır.
   3) Hassasiyet kontrolü.
   4) Veri kontrolü.
   5) Boş değer kontrolü.

9. Boş Doğrulama
   Test Durumları: Belirli bir sütun için "Boş Değer Kabul Edilemez" seçeneğinin belirtildiği yerlerde boş değerleri doğrulayın.
10. Yinelenen Kontrol
    Test Durumları:

    1) Benzersiz anahtarı, birincil anahtarı ve iş gereksinimlerine göre benzersiz olması gereken diğer sütunları doğrulayarak yinelenen satırların olmadığından emin olun.
    2) Herhangi bir sütunda yinelenen değer olup olmadığını kontrol edin, örneğintracBirden fazla kaynak sütunundan derlenip tek bir sütunda birleştirilmiştir.
    3) Müşteri gereksinimlerine göre, hedef tablodaki birden fazla sütunun birleşiminde yinelenen kayıtların bulunmamasını sağlayın.

11. Tarih Doğrulama
    Test Durumları: ETL geliştirmenin birçok alanında tarih değerleri kullanılır:

    1) Satırın oluşturulma tarihini öğrenmek.
    2) ETL geliştirme perspektifinden aktif kayıtları belirleyin.
    3) İş gereksinimleri perspektifinden aktif kayıtları belirleyin.
    4) Bazen, tarih değerlerine bağlı olarak güncellemeler ve eklemeler oluşturulur.

12. Veri Doğrulamasını Tamamlayın
    Test Durumları:

    1) Kaynak ve hedef tablolardaki tüm veri setini, en iyi çözüm olarak eksi sorgusu kullanarak doğrulayın.
    2) Kaynaktan hedefi ve hedeften kaynağı çıkarmanız gerekiyor.
    3) Eğer eksi sorgusu herhangi bir değer döndürürse, bu satırlar uyumsuz olarak kabul edilmelidir.
    4) Kaynak ve hedef arasındaki satırları kesişim ifadesi kullanarak eşleştirin.
    5) Intersect fonksiyonunun döndürdüğü sayı, kaynak ve hedef tabloların bireysel sayılarıyla eşleşmelidir.
    6) Eğer eksi sorgusu satır döndürürse ve kesişim sayısı kaynak veya hedef sayıdan az ise, yinelenen satırlar mevcuttur.

13. Veri Temizliği
    Test Durumları: Hazırlama alanına yüklenmeden önce gereksiz sütunlar silinmelidir.

ETL Hata Türleri

Güçlü test senaryolarına rağmen, ETL işlem hatları farklı şekillerde başarısız olabilir. Aşağıdaki görsel, dikkat etmeniz gereken hata kategorilerini özetlemekte ve ardından gelen tablo her birini açıklamaktadır.

Hata Türü	Açıklama
Kullanıcı arayüzü hataları/kozmetik hataları	• Uygulamanın GUI'si ile ilgili • Yazı tipi stili, yazı tipi boyutu, renkler, hizalama, yazım hataları, gezinme ve benzeri
Sınır Değer Analizi (BVA) ile ilgili hata	• Minimum ve maksimum değerler
Eşdeğerlik Sınıfı Bölümleme (ECP) ile ilgili hata	• Geçerli ve geçersiz tür
Giriş/Çıkış hataları	• Geçerli değerler kabul edilmedi • Geçersiz değerler kabul edildi
Hesaplama hataları	• Matematiksel hatalar • Son çıktı yanlış
Yük Durumu hataları	• Birden fazla kullanıcının kullanımına izin vermez. • Müşterinin beklediği yükü taşımasına izin vermez.
Yarış Durumu hataları	• Sistem çökmesi ve donması • Sistem istemci platformlarını çalıştıramıyor
Sürüm kontrol hataları	• Logo eşleşmesi yok • Sürüm bilgisi mevcut değil • Genellikle şu durumlarda görülür: Gerileme testi
Donanım hataları	• Cihaz uygulamaya yanıt vermiyor
Yardım Kaynağı hataları	• Yardım belgelerindeki hatalar

Veri Ambarı Testi

Veri Ambarı Testi Veri ambarı testi, bir veri ambarındaki verilerin bütünlüğünün, güvenilirliğinin, doğruluğunun ve tutarlılığının şirketin veri çerçevesine uygun olup olmadığını test eden bir yöntemdir. Veri ambarı testinin temel amacı, ambar içindeki entegre verilerin şirket tarafından karar alınabilecek kadar güvenilir olmasını sağlamaktır. ETL testi veri hareketine odaklanırken, veri ambarı testi ETL'nin nihayetinde beslediği daha geniş depolama ve raporlama katmanını kapsar.

Veritabanı Testi ile ETL Testi arasındaki fark

Her iki disiplin de yapılandırılmış verilerle çalışsa da, farklı sorulara cevap verirler. Aşağıdaki tablo, pratik farklılıkları vurgulamaktadır:

ETL Testi	Veri Tabanı Testi
Verilerin beklendiği gibi taşınıp taşınmadığını doğrular.	Birincil amaç, verilerin veri modelinde tanımlanan kurallara ve standartlara uygun olup olmadığını kontrol etmektir.
Kaynak ve hedefteki sayımların eşleşip eşleşmediğini ve dönüştürülen verilerin beklendiği gibi olup olmadığını doğrular.	Yetim kayıt bulunmadığını ve yabancı birincil anahtar ilişkilerinin korunduğunu doğrular.
ETL işlemi sırasında yabancı birincil anahtar ilişkilerinin korunduğunu doğrular.	Veritabanında gereksiz tablo bulunmadığını ve veritabanının en uygun şekilde normalize edildiğini doğrular.
Yüklenen verilerde tekrarlanan kayıtları doğrular.	Gerekli sütunlarda veri eksikliği olup olmadığını doğrular.

ETL'de Performans Testi

ETL'de Performans Testi ETL, bir ETL sisteminin birden fazla kullanıcı ve işlemin yükünü kaldırabildiğinden emin olmak için kullanılan bir test tekniğidir. ETL'nin temel amacı Performans testi Amaç, performans darboğazlarını belirleyip ortadan kaldırarak oturum performansını optimize etmek ve iyileştirmektir. Kaynak ve hedef veritabanları, haritapingOturumlar, işlemler ve sistemin kendisi darboğazlar içerebilir.

Performans testi ve optimizasyonu için kullanılan en iyi araçlardan biri Informatica'dır.

Bir ETL Test Uzmanının Sorumlulukları

Bir ETL test uzmanının temel sorumlulukları üç kategoriye ayrılır:

• Aşama tablosu / SFS veya MFS
• İş dönüşümü mantığı uygulandı
• Target Dönüştürme uygulandıktan sonra ara dosyadan veya tablodan tablo yükleme

Bir ETL test uzmanının günlük sorumluluklarından bazıları şunlardır:

• ETL yazılımını test edin
• ETL veri ambarının test bileşenleri
• Arka uç veri odaklı testleri yürütün
• Oluştur, tasarla ve uygula test senaryolarıtest planları ve test donanımları
• Sorunları belirleyin ve olası sorunlara çözümler sunun.
• Gereksinimleri ve tasarım özelliklerini onaylayın
• Veri aktarımlarını doğrulayın ve düz metin dosyalarını test edin.
• Sayım testleri gibi çeşitli senaryolar için SQL sorguları yazın.

ETL Testinin Otomasyonu

ETL testlerinin genel metodolojisi, SQL betikleme veya verilerin görsel olarak "gözle incelenmesi" yöntemini kullanmaktır. Bu yaklaşımlar zaman alıcı, hataya açık ve nadiren eksiksiz sonuçlar verir. test kapsamıUygulamayı hızlandırmak, kapsamı iyileştirmek, maliyetleri düşürmek ve geliştirmek için. kusur Üretim ve geliştirme ortamlarında tespit işlemleri için otomasyon günümüzün en önemli ihtiyacıdır. Bu araçlardan biri de Informatica'dır.

Modern ekipler ayrıca geleneksel otomasyonu, dönüşüm testleri öneren, sentetik kaynak veri üreten ve şema kaymasını işaretleyen yapay zeka destekli yardımcılarla birleştirerek test uzmanlarının tekrarlayan komut dosyası bakımı yerine karmaşık iş mantığına odaklanmasını sağlar.

ETL Testi için En İyi Uygulamalar

1. Verilerin doğru şekilde dönüştürüldüğünden emin olun.
2. Veri kaybı veya kesintisi olmadan, öngörülen veriler veri ambarına yüklenmelidir.
3. ETL uygulamasının geçersiz verileri uygun şekilde reddettiğinden, mümkün olan yerlerde varsayılan değerlerle değiştirdiğinden ve raporladığından emin olun.
4. Ölçeklenebilirlik ve performansı doğrulamak için verilerin belirtilen ve beklenen zaman dilimleri içinde veri ambarına yüklendiğini teyit edin.
5. Görünürlükten bağımsız olarak tüm yöntemlerin uygun birim testleri olmalıdır.
6. Tüm birim testlerinin etkinliğini ölçmek için uygun kapsama teknikleri kullanılmalıdır.
7. Her test senaryosu için yalnızca bir doğrulama yapmaya çalışın.
8. Oluştur birim testleri Hedef istisnaları.

Ödeme - ETL Testi Mülakat Soruları ve Cevapları

SSS