Посібник SSIS для початківців: що таке, Archiтектура, пакети

Це дозволяє легко переміщувати дані з однієї бази даних до іншої. SSIS може отримувати дані з різноманітних джерел, таких як бази даних SQL Server, файли Excel, Oracle та бази даних DB2 тощо.

SSIS також містить графічні інструменти та майстри для виконання функцій робочого процесу, таких як надсилання повідомлень електронної пошти, операції FTP, джерела даних і призначення.

Чому ми використовуємо SSIS?

Ось основні причини використання інструменту SSIS:

• Інструмент SSIS допомагає об’єднувати дані з різних сховищ даних
• Автоматизує адміністративні функції та завантаження даних
• Заповнює вітрини та сховища даних
• Допомагає очистити та стандартизувати дані
• Вбудовування BI в процес перетворення даних
• Автоматизація адміністративних функцій і завантаження даних
• SIS містить графічний інтерфейс користувача, який допомагає користувачам легко перетворювати дані замість написання великих програм
• Він може завантажувати мільйони рядків з одного джерела даних до іншого за кілька хвилин
• Ідентифікація, фіксація та обробка змін даних
• Координація обслуговування, обробки або аналізу даних
• SSIS усуває потребу в запеклих програмістах
• SSIS пропонує надійну обробку помилок і подій

Історія SSIS

До SSIS використовувався SQL Server, Data Transformation Services (DTS), який був частиною SQL Server 7 і 2000

версія	деталь
SQL Server 2005	Команда Microsoft команда вирішила оновити DTS. Однак замість оновлення DTS вони вирішили назвати продукт Integration Services (SSIS).
Версія SQL Server 2008	У SSIS було зроблено багато покращень продуктивності. Також були введені нові джерела.
SQL Server 2012	Це був найбільший випуск для SSIS. У цій версії введено концепцію моделі розгортання проекту. Це дозволяє цілі проекти, а їхні пакети розгортаються на сервері замість конкретних пакетів.
SQL Server 2014	У цій версії для SSIS зроблено небагато змін. Але були додані нові джерела або трансформації, які були зроблені окремими завантаженнями через кодPlex або SQL Server Feature Pack.
У SQL Server 2016	Версія дозволяє розгортати цілі проекти замість окремих пакетів. Існують додаткові джерела, особливо хмарні та великі джерела даних, і в каталог внесено деякі зміни.

Основні функції SSIS

Ось кілька важливих основних функцій SSIS:

• Студійне середовище
• Відповідні функції інтеграції даних
• Ефективна швидкість реалізації
• Тісна інтеграція з іншими Microsoft Сімейство SQL
• Перетворення запиту інтелектуального аналізу даних
• Перетворення нечіткого пошуку та групування
• Вилучення термінів і перетворення пошуку термінів
• Високошвидкісні компоненти підключення до даних, такі як підключення до SAP or Oracle

SSIS Archiтектура

Нижче наведено компоненти архітектури SSIS:

• Потік керування (зберігає контейнери та завдання)
• Потік даних (джерело, адресат, перетворення)
• Обробник подій (надсилання повідомлень, електронних листів)
• Package Explorer (Пропонує єдиний перегляд для всіх у пакеті)
• Параметри (взаємодія з користувачем)

Розберемося з кожним компонентом докладніше:

1. Потік керування

Потік керування є мозком пакета SSIS. Це допоможе вам організувати порядок виконання для всіх його компонентів. Компоненти містять контейнери та завдання, які керуються обмеженнями пріоритету.

2. Обмеження пріоритету

Обмеження пріоритету – це компонент пакета, який спрямовує завдання на виконання в попередньо визначеному порядку. Він також визначає робочий процес усього пакету SSIS. Він контролює виконання двох пов’язаних завдань, виконуючи цільові завдання на основі результату попереднього завдання — бізнес-правил, які визначаються за допомогою спеціальних виразів.

3. Завдання

«Завдання» — це окрема одиниця роботи. Це те саме, що метод/функція, що використовується в мові програмування. Однак у SSIS ви не використовуєте методи кодування. Замість цього ви будете використовувати техніку перетягування та скидання для проектування поверхні та її налаштування.

4. Контейнери

Контейнер — це одиниці для групування завдань у одиниці роботи. Окрім забезпечення візуальної узгодженості, він також дозволяє вам оголошувати змінні та обробники подій, які мають бути в області видимості цього конкретного контейнера.

У SSIS є чотири типи контейнерів:

• Контейнер послідовності
• Контейнер циклу For
• Контейнер циклу Foreach

Контейнер послідовності: дозволяє організовувати допоміжні завдання, групуючи їх, і дозволяє застосовувати транзакції або призначати журналювання для контейнера.

Для контейнера циклу:Надає ті самі функції, що й контейнер послідовності, за винятком того, що він також дозволяє запускати завдання кілька разів. Однак він базується на умові оцінювання, як цикл від 1 до 100.

Для кожного контейнера циклу: Це також дозволяє зациклювати. Але різниця в тому, що замість використання виразу умови цикл виконується над набором об’єктів, лайкає файли в папці.

5. Потік даних

Основним використанням інструменту SSIS є видобування даних у пам’ять сервера, їх перетворення та запис в інше місце призначення. Якщо Control Flow — це мозок, то Data Flow — серце SSIS

6. Пакети SSIS

Іншим основним компонентом SSIS є поняття пакета. Це набір завдань, які виконуються впорядкованим чином. Тут обмеження президента допомагають керувати порядком виконання завдання.

Пакет може допомогти вам зберегти файли на a SQL Server, у базі даних msdb або каталогу пакетів. Його можна зберегти як файл .dtsx, який є структурованим файлом, дуже схожим на файли .rdl для служб звітування.

7. Параметри

Параметри поводяться так само, як змінна, але за кількома основними винятками. Його можна легко встановити поза упаковкою. Його можна позначити як значення, які необхідно передати для запуску пакета.

Типи завдань SSIS

В інструменті SSIS можна додати завдання для керування потоком. Існують різні типи завдань, які виконують різні види робіт.

Нижче наведено деякі важливі завдання SSIS:

Назва завдання	Descriptіони
Виконання SQL-завдання	Як випливає з назви, він виконає оператор SQL для реляційної бази даних.
Завдання потоку даних	Це завдання може читати дані з одного або кількох джерел. Перетворіть дані, коли вони знаходяться в пам’яті, і запишіть їх в одному або кількох адресатах.
Завдання обробки служб аналізу	Використовуйте це завдання для обробки об’єктів табличної моделі або як куб SSAS.
Виконати пакетне завдання	Use може використовувати це завдання SSIS для виконання інших пакетів із того самого проекту.
Виконати завдання процесу	За допомогою цього завдання можна вказати параметри командного рядка.
Завдання файлової системи	Він виконує маніпуляції у файловій системі. Як переміщення, перейменування, видалення файлів і створення каталогів.
Завдання FTP	Це дозволяє виконувати основні функції FTP.
Сценарій завдання	Це порожнє завдання. Ви можете написати код NET, який виконує будь-яке завдання; ви хочете виконати.
Відправити Mail Завдання	Ви можете надіслати електронний лист користувачам із повідомленням про те, що ваш пакет завершено або сталася якась помилка.
Завдання масової вставки	Використання може завантажувати дані в таблицю за допомогою команди масової вставки.
Сценарій завдання	Запускає набір VB.NET або кодування на C# в середовищі Visual Studio.
Завдання веб-сервісу	Він виконує метод у веб-сервісі.
Завдання спостерігача подій WMI	Це завдання дозволяє пакету SSIS чекати певних подій WMI і відповідати на них.
Завдання XML	Це завдання допоможе вам об’єднати, розділити або переформатувати будь-який файл XML.

Інші важливі інструменти ETL

• SAP Служби даних
• Управління даними SAS
• Oracle Будівельник складів (OWB)
• PowerCenter Informatica
• IBM Інформаційний сервер «Інфосфера».
• Репертуар Elixir для Data ETL
• Потік даних Сарджента

Переваги та недоліки використання SSIS

Інструмент SSIS пропонує такі переваги:

• Широка документація та підтримка
• Легкість і швидкість реалізації
• Тісна інтеграція з SQL Server і візуальна студія
• Стандартизована інтеграція даних
• Пропонує можливості в режимі реального часу на основі повідомлень
• Підтримка моделі розподілу
• Допомагає усунути мережу як вузьке місце для вставки даних SSIS у SQL
• SISS дозволяє використовувати SQL Server Destination замість OLE DB, щоб швидше завантажувати дані

Недоліки SSIS

Кілька недоліків використання інструментів SSIS:

• Іноді створюють проблеми в середовищах, не пов’язаних з Windows
• Нечітке бачення і стратегія
• SSIS не підтримує альтернативні стилі інтеграції даних
• Проблемна інтеграція з іншими продуктами

Приклад найкращих практик SSIS

• SSIS — це конвеєр у пам’яті. Тому важливо стежити, щоб усі перетворення відбувалися в пам’яті
• Спробуйте мінімізувати зареєстровані операції
• Плануйте потужність, розуміючи використання ресурсів
• Оптимізуйте перетворення пошуку SQL, джерело даних і призначення
• Правильно скласти графік і розподілити його

Підсумки

• Повною формою SSIS є служби інтеграції SQL Server
• Інструмент SSIS допомагає об’єднувати дані з різних сховищ даних
• Важливими версіями служби інтеграції SQL Server є 2005, 2008, 2012, 2014 і 216
• Середовище Studio, відповідні функції інтеграції даних і ефективна швидкість впровадження – це деякі важливі функції SSIS
• Потік керування, потік даних, обробник подій, провідник пакетів і параметри є важливими компонентами архітектури SSIS
• Виконання завдання SQL, завдання потоку даних, завдання обробки служб аналізу, виконання завдання пакета, виконання завдання процесу, завдання файлової системи, завдання FTP, надсилання Mail Завдання, завдання веб-служби є деякими важливими
• Широка документація та підтримка
• Найбільшим недоліком SSIS є відсутність підтримки альтернативних стилів інтеграції даних
• SAP Data Services, SAS Data Management, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Інформаційний сервер «Інфосфера».
• SSIS — це конвеєр у пам’яті. Тому важливо переконатися, що всі перетворення відбуваються в пам’яті