Учебное пособие по SSIS для начинающих: что такое, Archiтектура, Пакеты

Это позволяет легко перемещать данные из одной базы данных в другую. SSIS может извлекать данные из самых разных источников, таких как базы данных SQL Server, файлы Excel, Oracle и базы данных DB2 и т. д.

SSIS также включает графические инструменты и мастера для выполнения функций рабочего процесса, таких как отправка сообщений электронной почты, операции FTP, источники данных и места назначения.

Почему мы используем SSIS?

Вот основные причины использования инструмента SSIS:

• Инструмент SSIS помогает вам объединять данные из различных хранилищ данных.
• Автоматизирует административные функции и загрузку данных
• Заполняет витрины данных и хранилища данных
• Помогает очистить и стандартизировать данные
• Встраивание BI в процесс преобразования данных
• Автоматизация административных функций и загрузки данных
• SIS содержит графический интерфейс, который помогает пользователям легко преобразовывать данные вместо написания больших программ.
• Он может загружать миллионы строк из одного источника данных в другой за считанные минуты.
• Выявление, сбор и обработка изменений данных
• Координация обслуживания, обработки или анализа данных
• SSIS устраняет необходимость в профессиональных программистах
• SSIS предлагает надежную обработку ошибок и событий.

История SSIS

До SSIS использовался SQL Server, Data Transformation Services (DTS), который был частью SQL Server 7 и 2000.

Версия	Подробнее
SQL Server 2005	Команда Microsoft команда решила обновить DTS. Однако вместо обновления DTS они решили назвать продукт Integration Services (SSIS).
Версия SQL-сервера 2008 г.	В SSIS было внесено множество улучшений производительности. Были также представлены новые источники.
SQL Server 2012	Это был самый крупный релиз для SSIS. В этой версии представлена ​​концепция модели развертывания проекта. Это позволяет целым проектам и их пакетам развертываться на сервере вместо конкретных пакетов.
SQL Server 2014	В этой версии для SSIS внесено не так много изменений. Но были добавлены новые источники или преобразования, что было сделано путем отдельной загрузки через Code.Plex или пакет дополнительных компонентов SQL Server.
В SQL Server 2016	Эта версия позволяет развертывать целые проекты вместо отдельных пакетов. Имеются дополнительные источники, особенно облачные, а также источники больших данных, и в каталог было внесено несколько изменений.

Основные особенности SSIS

Вот некоторые важные основные функции SSIS:

• Студийная среда
• Соответствующие функции интеграции данных
• Эффективная скорость внедрения
• Тесная интеграция с другими Microsoft Семейство SQL
• Преобразование запросов интеллектуального анализа данных
• Нечеткий поиск и групповые преобразования
• Извлечение терминов и преобразования поиска терминов
• Компоненты более высокоскоростной передачи данных, такие как подключение к SAP or Oracle

ССИС Archiтекстура

Ниже приведены компоненты архитектуры SSIS:

• Поток управления (хранит контейнеры и задачи)
• Поток данных (источник, место назначения, преобразования)
• Обработчик событий (отправка сообщений, электронных писем)
• Package Explorer (предлагает единое представление для всех в пакете)
• Параметры (Взаимодействие с пользователем)

Давайте разберемся в каждом компоненте подробно:

1. Поток управления

Поток управления — это мозг пакета SSIS. Это поможет вам организовать порядок выполнения всех его компонентов. Компоненты содержат контейнеры и задачи, которые управляются ограничениями приоритета.

2. Ограничения приоритета

Ограничение приоритета — это компонент пакета, который направляет выполнение задач в заранее определенном порядке. Он также определяет рабочий процесс всего пакета SSIS. Он контролирует выполнение двух связанных задач, выполняя целевые задачи на основе результата предыдущей задачи — бизнес-правил, которые определяются с помощью специальных выражений.

3. Задача

«Задача» — это отдельная единица работы. Это то же самое, что метод/функция, используемая в языке программирования. Однако в SSIS вы не используете методы кодирования. Вместо этого вы будете использовать технику перетаскивания для проектирования поверхностей и их настройки.

4. Контейнеры

Контейнер — это единицы группировки задач в единицы работы. Помимо обеспечения визуальной согласованности, он также позволяет вам объявлять переменные и обработчики событий, которые должны находиться в области действия этого конкретного контейнера.

Четыре типа контейнеров в SSIS:

• Контейнер последовательности
• Контейнер цикла for
• Контейнер цикла по каждому элементу

Контейнер последовательности: позволяет организовывать вспомогательные задачи, группируя их, а также применять транзакции или назначать ведение журнала для контейнера.

Для контейнера цикла:Предоставляет ту же функциональность, что и Контейнер последовательности, за исключением того, что он также позволяет запускать задачи несколько раз. Однако он основан на условии оценки, например цикле от 1 до 100.

Для каждого контейнера цикла: Это также позволяет зацикливаться. Но разница в том, что вместо использования выражения условия цикл, выполняемый над набором объектов, любит файлы в папке.

5. Поток данных

Основное использование инструмента SSIS — извлечение данных в память сервера, их преобразование и запись в другое место назначения. Если поток управления — это мозг, то поток данных — это сердце SSIS.

6. Пакеты SSIS

Еще одним ключевым компонентом SSIS является понятие пакета. Это набор задач, которые выполняются упорядоченным образом. Здесь президентские ограничения помогают управлять порядком выполнения задачи.

Пакет может помочь вам сохранить файлы на SQL Server, в базе данных msdb или каталога пакетов. Его можно сохранить в виде файла .dtsx, который представляет собой структурированный файл, очень похожий на файлы .rdl в службах Reporting Services.

7. параметры

Параметры ведут себя так же, как переменные, но с несколькими основными исключениями. Его можно легко установить вне упаковки. Его можно обозначить как значения, которые необходимо передать для запуска пакета.

Типы задач SSIS

В инструменте SSIS вы можете добавить задачу для управления потоком. Существуют различные типы задач, которые выполняют различные виды работ.

Некоторые важные задачи SSIS упомянуты ниже:

Название задачи	Описание
Выполнить задачу SQL	Как следует из названия, он выполняет оператор SQL для реляционной базы данных.
Задача потока данных	Эта задача может считывать данные из одного или нескольких источников. Преобразуйте данные, когда они находятся в памяти, и запишите их в одно или несколько мест назначения.
Задача обработки служб Analysis Services	Используйте эту задачу для обработки объектов табличной модели или куба SSAS.
Выполнение задачи пакета	Эту задачу SSIS можно использовать для выполнения других пакетов из того же проекта.
Выполнить задачу процесса	С помощью этой задачи вы можете указать параметры командной строки.
Задача файловой системы	Он производит манипуляции в файловой системе. Например, перемещение, переименование, удаление файлов и создание каталогов.
FTP-задачи	Он позволяет выполнять основные функции FTP.
Задача сценария	Это пустая задача. Вы можете написать NET-код, выполняющий любую задачу; вы хотите выступить.
Отправьте Mail Сложность задачи	Вы можете отправить электронное письмо пользователям, уведомляющим о том, что ваш пакет завершен или произошла какая-то ошибка.
Массовая вставка задачи	Использование может загружать данные в таблицу с помощью команды массовой вставки.
Задача сценария	Запускает набор VB.NET или кодирование C# в среде Visual Studio.
Задача веб-службы	Он выполняет метод веб-службы.
Задача наблюдения за событиями WMI	Эта задача позволяет пакету SSIS ожидать и реагировать на определенные события WMI.
XML-задача	Эта задача поможет вам объединить, разделить или переформатировать любой XML-файл.

Другие важные инструменты ETL

• SAP Услуги по передаче данных
• Управление данными SAS
• Oracle Строитель складов (OWB)
• PowerCenter Информатика
• IBM Инфосферный информационный сервер
• Репертуар эликсира для ETL данных
• Поток данных Сарджента

Преимущества и недостатки использования SSIS

Инструмент SSIS предлагает следующие преимущества:

• Широкая документация и поддержка
• Простота и скорость внедрения
• Тесная интеграция с SQL Server и визуальная студия
• Стандартизированная интеграция данных
• Предлагает возможности работы в режиме реального времени на основе сообщений.
• Поддержка модели распространения
• Помогает устранить сеть как узкое место для вставки данных с помощью SSIS в SQL.
• SISS позволяет использовать назначение SQL Server вместо OLE DB для более быстрой загрузки данных.

Недостатки SSIS

Некоторые недостатки использования инструментов SSIS заключаются в следующем:

• Иногда возникают проблемы в средах, отличных от Windows.
• Неясное видение и стратегия
• В SSIS отсутствует поддержка альтернативных стилей интеграции данных.
• Проблемная интеграция с другими продуктами.

Пример лучших практик SSIS

• SSIS — это конвейер в памяти. Вот почему важно следить за тем, чтобы все преобразования происходили в памяти.
• Постарайтесь свести к минимуму регистрируемые операции.
• Планируйте мощность, понимая использование ресурсов
• Оптимизируйте преобразование поиска SQL, источник данных и место назначения.
• Планируйте и распределяйте это правильно

Итого

• Полная форма SSIS — это службы интеграции SQL Server.
• Инструмент SSIS помогает вам объединять данные из различных хранилищ данных.
• Важными версиями службы интеграции SQL Server являются 2005, 2008, 2012, 2014 и 216.
• Среды Studio, соответствующие функции интеграции данных и эффективная скорость реализации — вот некоторые важные особенности SSIS.
• Поток управления, поток данных, обработчик событий, обозреватель пакетов и параметры являются важными компонентами архитектуры SSIS.
• Выполнение задачи SQL, задача потока данных, задача обработки служб Analysis Services, задача выполнения пакета, задача выполнения процесса, задача файловой системы, задачи FTP, отправка Mail Задача, Задача веб-службы — некоторые важные
• Широкая документация и поддержка
• Самым большим недостатком SSIS является отсутствие поддержки альтернативных стилей интеграции данных.
• SAP Службы данных, Управление данными SAS, Oracle Строитель складов (OWB), PowerCenter Informatica, IBM Инфосферный информационный сервер
• SSIS — это конвейер в памяти. Поэтому очень важно убедиться, что все преобразования происходят в памяти.