Yeni Başlayanlar İçin SSIS Eğitimi: Nedir, Archidoku, Paketler
SSIS nedir?
SQL Server Entegrasyon Hizmeti (SSIS) bir bileşenidir Microsoft SQL Server Çok çeşitli veri taşıma görevlerini yürütmek için kullanılabilen veritabanı yazılımı. SSIS, verileri temizleme, toplama, birleştirme vb. gibi veri çıkarma, yükleme ve dönüştürme için kullanılan hızlı ve esnek bir veri depolama aracıdır.
Verilerin bir veritabanından başka bir veritabanına taşınmasını kolaylaştırır. SSIS, SQL Server veritabanları, Excel dosyaları gibi çok çeşitli kaynaklardan veri çıkarabilir. Oracle ve DB2 veritabanları vb.
SSIS ayrıca e-posta mesajları gönderme, FTP işlemleri, veri kaynakları ve hedefler gibi iş akışı işlevlerini gerçekleştirmek için grafiksel araçlar ve sihirbazlar içerir.
Neden SSIS kullanıyoruz?
SSIS aracını kullanmanın temel nedenleri şunlardır:
- SSIS aracı, çeşitli veri depolarındaki verileri birleştirmenize yardımcı olur
- Yönetim İşlevlerini ve Veri Yüklemeyi Otomatikleştirir
- Veri Pazarlarını ve Veri Ambarlarını Doldurur
- Verileri temizlemenize ve standartlaştırmanıza yardımcı olur
- BI'ı Veri Dönüşüm Sürecine Yerleştirme
- Yönetim İşlevlerini ve Veri Yüklemeyi Otomatikleştirme
- SIS, kullanıcıların büyük programlar yazmak yerine verileri kolayca dönüştürmelerine yardımcı olan bir GUI içerir
- Milyonlarca satırı bir veri kaynağından diğerine çok birkaç dakika içinde yükleyebilir
- Veri değişikliklerini tanımlama, yakalama ve işleme
- Veri bakımını, işlenmesini veya analizini koordine etmek
- SSIS, zorlu programcılara olan ihtiyacı ortadan kaldırır
- SSIS, güçlü hata ve olay yönetimi sunar
SSIS'in Tarihi
SSIS'den önce SQL Server, SQL Server 7 ve 2000'in bir parçası olan Veri Dönüştürme Hizmetleri (DTS) kullanılıyordu.
Sürümü | Detay |
---|---|
SQL Server 2005 | The Microsoft ekip DTS'yi yenilemeye karar verdi. Ancak DTS'yi güncellemek yerine ürüne Entegrasyon Hizmetleri (SSIS) adını vermeye karar verdiler. |
2008 SQL sunucusu sürümü | SSIS'de çok sayıda performans iyileştirmesi yapıldı. Yeni kaynaklar da tanıtıldı. |
SQL Server 2012 | SSIS için en büyük sürümdü. Bu sürümle birlikte proje dağıtım modeli kavramı tanıtıldı. Tüm projelere izin verir ve bunların paketleri, belirli paketler yerine bir sunucuya dağıtılır. |
SQL Server 2014 | Bu versiyonda SSIS için pek fazla değişiklik yapılmamıştır. Ancak Kod aracılığıyla ayrı indirmelerle gerçekleştirilen yeni kaynaklar veya dönüşümler eklendiPlex veya SQL Server Özellik Paketi. |
SQL Server 2016'da | Sürüm, bireysel paketler yerine tüm projeleri dağıtmanıza olanak tanır. Bulut başta olmak üzere ek kaynaklar ve büyük veri kaynakları mevcut olup katalogda çok az değişiklik yapılmıştır. |
SSIS'in Öne Çıkan Özellikleri
SSIS'in bazı önemli temel özelliklerini burada bulabilirsiniz:
- Stüdyo Ortamları
- İlgili veri entegrasyon işlevleri
- Etkili uygulama hızı
- Diğerleriyle sıkı entegrasyon Microsoft SQL ailesi
- Veri Madenciliği Sorgu Dönüşümü
- Bulanık Arama ve Gruplandırma Dönüşümleri
- Terim Çıkarma ve Terim Arama Dönüşümleri
- Bağlantı gibi daha yüksek hızlı veri bağlantısı bileşenleri SAP or Oracle
ÖSS Archidoku
SSIS mimarisinin bileşenleri şunlardır:
- Kontrol Akışı (Kapsayıcılar ve Görevleri saklar)
- Veri Akışı (Kaynak, Hedef, Dönüşümler)
- Olay İşleyicisi (mesajların, e-postaların gönderilmesi)
- Paket Gezgini (Paketteki tüm öğeler için tek bir görünüm sunar)
- Parametreler (Kullanıcı Etkileşimi)
Her bileşeni ayrıntılı olarak anlayalım:
1. Akışı Kontrol Edin
Kontrol akışı SSIS paketinin beynidir. Tüm bileşenlerinin uygulama sırasını düzenlemenize yardımcı olur. Bileşenler öncelik kısıtlamaları tarafından yönetilen kapları ve görevleri içerir.
2. Öncelik Kısıtlamaları
Öncelik kısıtlaması, görevlerin önceden tanımlanmış bir sırayla yürütülmesini yönlendiren paket bileşenidir. Ayrıca tüm SSIS paketinin iş akışını da tanımlar. Daha önceki görevin (özel ifadeler kullanılarak tanımlanan iş kuralları) sonucuna göre hedef görevleri yürüterek iki bağlantılı görevin yürütülmesini kontrol eder.
3. Görev
'Görev' bireysel bir iş birimidir. Bir programlama dilinde kullanılan yöntem/işlevle aynıdır. Ancak SSIS'de kodlama yöntemlerini kullanmazsınız. Bunun yerine, yüzeyi tasarlamak ve yapılandırmak için sürükle ve bırak tekniğini kullanacaksınız.
4. Kaplar
Kap, görevleri iş birimleri halinde gruplamaya yönelik birimlerdir. Görsel tutarlılık sunmanın yanı sıra, söz konusu kapsayıcının kapsamında olması gereken değişkenleri ve olay işleyicilerini bildirmenize de olanak tanır.
SSIS'deki dört tür konteyner şunlardır:
- Bir Sıra Kabı
- Döngü Konteyneri İçin
- Foreach Döngü Konteyneri
Sıra Kabı: yan görevleri gruplandırarak düzenlemenize ve konteynere işlemler uygulamanıza veya günlük kaydı atamanıza olanak tanır.
Döngü kapsayıcısı için:Görevleri birden çok kez çalıştırmanıza izin vermesi dışında sıra Konteyneri ile aynı işlevselliği sağlar. Ancak 1'den 100'e kadar bir döngü gibi bir değerlendirme koşuluna dayanır.
Her Döngü Konteyneri için: Ayrıca döngüye izin verir. Ancak aradaki fark, bir koşul ifadesi kullanmak yerine döngünün bir dizi nesne üzerinde yapılması, bir klasördeki dosyaların beğenilmesidir.
5. Veri akışı
SSIS aracının ana kullanımı, verileri sunucunun belleğine çıkarmak, dönüştürmek ve başka bir hedefe yazmaktır. Kontrol Akışı beyinse, Veri Akışı da SSIS'in kalbidir
6. SSIS Paketleri
SSIS'in bir diğer temel bileşeni paket kavramıdır. Düzenli bir şekilde yürütülen görevlerin bir koleksiyonudur. Burada başkan kısıtlamaları, görevin yürütüleceği sırayı yönetmeye yardımcı olur.
Bir paket, dosyaları bir yere kaydetmenize yardımcı olabilir. SQL Server, msdb veya paket kataloğu veritabanında. Raporlama Hizmetlerindeki .rdl dosyalarına çok benzeyen yapılandırılmış bir dosya olan .dtsx dosyası olarak kaydedebilir.
7. Parametreler
Parametreler bir değişkene çok benzer ancak birkaç ana istisna dışında davranır. Paketin dışına kolaylıkla ayarlanabilir. Paketin başlaması için iletilmesi gereken değerler olarak belirlenebilir.
SSIS Görev Türleri
SSIS aracında akışı kontrol etmek için bir görev ekleyebilirsiniz. Çeşitli işleri gerçekleştiren farklı türde görevler vardır.
Bazı önemli SSIS görevleri aşağıda belirtilmiştir:
Görev Adı | Descriptiyonları |
---|---|
SQL Görevini Yürüt | Adından da anlaşılacağı gibi ilişkisel bir veritabanına karşı bir SQL ifadesi çalıştıracaktır. |
Veri Akışı Görevi | Bu görev, bir veya daha fazla kaynaktan veri okuyabilir. Verileri bellekteyken dönüştürün ve bir veya daha fazla hedefe yazın. |
Analiz Hizmetleri İşleme Görevi | Tablolu bir modelin nesnelerini veya SSAS küpünü işlemek için bu görevi kullanın. |
Paket Görevini Yürüt | Aynı proje içindeki diğer paketleri yürütmek için bu SSIS görevini kullanabilirsiniz. |
Süreç Görevini Yürüt | Bu görevin yardımıyla komut satırı parametrelerini belirleyebilirsiniz. |
Dosya Sistemi Görevi | Dosya sisteminde manipülasyonlar gerçekleştirir. Dosyaları taşımak, yeniden adlandırmak, silmek ve dizin oluşturmak gibi. |
FTP Görevleri | Temel FTP işlevlerini gerçekleştirmenizi sağlar. |
Komut Dosyası Görevi | Bu boş bir görev. Herhangi bir görevi gerçekleştiren NET kodunu yazabilirsiniz; performans sergilemek istiyorsunuz. |
Gönder Mail Görev | Kullanıcılara paketinizin tamamlandığını veya bir hata oluştuğunu bildiren bir e-posta gönderebilirsiniz. |
Toplu Ekleme Görevi | Toplu ekleme komutunu kullanarak verileri bir tabloya yükleyebilirsiniz. |
Komut Dosyası Görevi | Bir dizi çalıştırır VB.NET veya Visual Studio ortamında C# kodlaması. |
Web Hizmeti Görevi | Bir web servisinde bir metodu çalıştırır. |
WMI Olay İzleyici Görevi | Bu görev, SSIS paketinin belirli WMI olaylarını beklemesine ve yanıt vermesine olanak tanır. |
XML Görevi | Bu görev herhangi bir XML dosyasını birleştirmenize, bölmenize veya yeniden biçimlendirmenize yardımcı olur. |
Diğer Önemli ETL araçları
- SAP Veri Hizmetleri
- SAS Veri Yönetimi
- Oracle Depo Oluşturucusu (OWB)
- PowerCenter Bilişim
- IBM Infosfer Bilgi Sunucusu
- Veri ETL'si için İksir Repertuvarı
- Sargent Veri Akışı
SSIS kullanmanın avantajları ve dezavantajları
SSIS aracı aşağıdaki avantajları sunar:
- Geniş dokümantasyon ve destek
- Uygulama kolaylığı ve hızı
- SQL Server ile sıkı entegrasyon ve görsel stüdyo
- Standartlaştırılmış veri entegrasyonu
- Gerçek zamanlı, mesaj tabanlı yetenekler sunar
- Dağıtım modeli desteği
- Verilerin SSIS tarafından SQL'e eklenmesinde bir darboğaz olarak ağı ortadan kaldırmanıza yardımcı olur
- SISS, verileri daha hızlı yüklemek için OLE DB yerine SQL Server Hedefini kullanmanıza olanak tanır
SSIS'in dezavantajları
SSIS araçlarını kullanmanın bazı dezavantajları şunlardır:
- Bazen Windows dışındaki ortamlarda sorunlar yaratır
- Belirsiz vizyon ve strateji
- SSIS, alternatif veri entegrasyon stilleri için destekten yoksundur
- Diğer ürünlerle sorunlu entegrasyon
SSIS En İyi Uygulama Örneği
- SSIS, bellek içi bir ardışık düzendir. Bu nedenle tüm dönüşümlerin hafızada gerçekleştiğinden emin olmak önemlidir.
- Günlüğe kaydedilen işlemleri en aza indirmeye çalışın
- Kaynak kullanımını anlayarak kapasiteyi planlayın
- SQL arama dönüşümünü, veri kaynağını ve hedefini optimize edin
- Doğru şekilde planlayın ve dağıtın
ÖZET
- SSIS'nin tam biçimi SQL Server Entegrasyon Hizmetleridir
- SSIS aracı, çeşitli veri depolarındaki verileri birleştirmenize yardımcı olur
- SQL Server Entegrasyon Hizmetinin önemli sürümleri 2005, 2008, 2012, 2014 ve 216'dır.
- Studio Ortamları, İlgili veri entegrasyon işlevleri ve Etkili uygulama hızı, SSIS'in bazı önemli özellikleridir.
- Kontrol Akışı, Veri Akışı, Olay İşleyicisi, Paket Gezgini ve Parametreler, SSIS mimarisinin temel bileşenleridir
- SQL Görevini Yürüt, Veri Akış Görevi, Analiz Hizmetleri İşleme Görevi, Paket Görevini Yürüt, Süreç Görevini Yürüt, Dosya Sistemi Görevi, FTP Görevleri, Gönder Mail Görev, Web Hizmeti Görevi bazı önemli
- Geniş dokümantasyon ve destek
- SSIS'in en büyük dezavantajı alternatif veri entegrasyon stillerine yönelik desteğin bulunmamasıdır.
- SAP Veri Hizmetleri, SAS Veri Yönetimi, Oracle Depo Oluşturucu (OWB), PowerCenter Informatica, IBM Infosfer Bilgi Sunucusu
- SSIS, bellek içi bir ardışık düzendir. Bu nedenle tüm dönüşümlerin bellekte gerçekleştiğinden emin olmak önemlidir.