Учебное пособие по SSIS для начинающих: что такое, Archiтектура, Пакеты

Это упрощает перемещение данных из одной базы данных в другую. SSIS может, например,tracданные из самых разных источников, таких как базы данных SQL Server, файлы Excel. Oracle и базы данных DB2 и т. д.

SSIS также включает графические инструменты и мастера для выполнения функций рабочего процесса, таких как отправка сообщений электронной почты, операции FTP, источники данных и места назначения.

Почему мы используем SSIS?

Вот основные причины использования инструмента SSIS:

• Инструмент SSIS помогает вам объединять данные из различных хранилищ данных.
• Автоматизирует административные функции и загрузку данных
• Заполняет витрины данных и хранилища данных
• Помогает очистить и стандартизировать данные
• Встраивание BI в процесс преобразования данных
• Автоматизация административных функций и загрузки данных
• SIS содержит графический интерфейс, который помогает пользователям легко преобразовывать данные вместо написания больших программ.
• Он может загружать миллионы строк из одного источника данных в другой за считанные минуты.
• Выявление, сбор и обработка изменений данных
• Координация обслуживания, обработки или анализа данных
• SSIS устраняет необходимость в профессиональных программистах
• SSIS предлагает надежную обработку ошибок и событий.

История SSIS

До SSIS использовался SQL Server, Data Transformation Services (DTS), который был частью SQL Server 7 и 2000.

Версия	XNUMX
SQL Server 2005	Microsoft команда решила обновить DTS. Однако вместо обновления DTS они решили назвать продукт Integration Services (SSIS).
Версия SQL-сервера 2008 г.	В SSIS было внесено множество улучшений производительности. Были также представлены новые источники.
SQL Server 2012	Это был самый крупный релиз для SSIS. В этой версии представлена ​​концепция модели развертывания проекта. Это позволяет целым проектам и их пакетам развертываться на сервере вместо конкретных пакетов.
SQL Server 2014	В этой версии внесено не так много изменений в SSIS. Однако были добавлены новые источники или преобразования, которые были загружены отдельно. CodePlex или пакет дополнительных компонентов SQL Server.
В SQL Server 2016	Эта версия позволяет развертывать целые проекты вместо отдельных пакетов. Имеются дополнительные источники, особенно облачные, а также источники больших данных, и в каталог было внесено несколько изменений.

Основные особенности SSIS

Вот некоторые важные основные функции SSIS:

• Студийная среда
• Соответствующие функции интеграции данных
• Эффективная скорость внедрения
• Тесная интеграция с другими Microsoft Семейство SQL
• Преобразование запросов интеллектуального анализа данных
• Нечеткий поиск и группировкаping Преобразования
• Термин ExtracПреобразования поиска терминов и поиска терминов
• Компоненты более высокоскоростной передачи данных, такие как подключение к SAP or Oracle

ССИС Archiтекстура

Ниже приведены компоненты архитектуры SSIS:

• Поток управления (хранит контейнеры и задачи)
• Поток данных (источник, место назначения, преобразования)
• Обработчик событий (отправка сообщений, электронных писем)
• Package Explorer (предлагает единое представление для всех в пакете)
• Параметры (Взаимодействие с пользователем)

Давайте разберемся в каждом компоненте подробно:

1. Поток управления

Поток управления — это мозг пакета SSIS. Это поможет вам организовать порядок выполнения всех его компонентов. Компоненты содержат контейнеры и задачи, которые управляются ограничениями приоритета.

2. Ограничения приоритета

Ограничение приоритета — это компонент пакета, который направляет выполнение задач в заранее определенном порядке. Он также определяет рабочий процесс всего пакета SSIS. Он контролирует выполнение двух связанных задач, выполняя целевые задачи на основе результата предыдущей задачи — бизнес-правил, которые определяются с помощью специальных выражений.

3. Задача

«Задача» — это отдельная единица работы. Это то же самое, что метод/функция, используемая в языке программирования. Однако в SSIS вы не используете методы кодирования. Вместо этого вы будете использовать технику перетаскивания для проектирования поверхностей и их настройки.

4. Контейнеры

Контейнеры представляют собой единицы для группping Объединяйте задачи в рабочие блоки. Помимо обеспечения визуальной согласованности, это также позволяет объявлять переменные и обработчики событий, которые должны находиться в области видимости конкретного контейнера.

Четыре типа контейнеров в SSIS:

• Контейнер последовательности
• Контейнер цикла for
• Контейнер цикла по каждому элементу

Контейнер последовательности: позволяет организовывать вспомогательные задачи по группамping Это позволяет применять к ним транзакции или назначать контейнеру ведение журналов.

Для контейнера цикла:Предоставляет ту же функциональность, что и контейнер последовательностей, за исключением того, что позволяет запускать задачи несколько раз. Однако он основан на условии оценки, подобном циклу.ping от 1 до 100.

Для каждого контейнера цикла: Это также позволяет использовать туалет.pingОднако разница в том, что вместо использования условного выражения цикл выполняется по набору объектов, например, файлов в папке.

5. Поток данных

Основное назначение инструмента SSIS — это...tracВвод данных в память сервера, их преобразование и запись в другое место назначения. Если управление потоком данных — это мозг, то поток данных — это сердце SSIS.

6. Пакеты SSIS

Еще одним ключевым компонентом SSIS является понятие пакета. Это набор задач, которые выполняются упорядоченным образом. Здесь президентские ограничения помогают управлять порядком выполнения задачи.

Пакет может помочь вам сохранить файлы на SQL Server, в базе данных msdb или каталога пакетов. Его можно сохранить в виде файла .dtsx, который представляет собой структурированный файл, очень похожий на файлы .rdl в службах Reporting Services.

7. параметры

Параметры ведут себя так же, как переменные, но с несколькими основными исключениями. Его можно легко установить вне упаковки. Его можно обозначить как значения, которые необходимо передать для запуска пакета.

Типы задач SSIS

В инструменте SSIS вы можете добавить задачу для управления потоком. Существуют различные типы задач, которые выполняют различные виды работ.

Некоторые важные задачи SSIS упомянуты ниже:

Название задачи	Описание
Выполнить задачу SQL	Как следует из названия, он выполняет оператор SQL для реляционной базы данных.
Задача потока данных	Эта задача может считывать данные из одного или нескольких источников. Преобразуйте данные, когда они находятся в памяти, и запишите их в одно или несколько мест назначения.
Задача обработки служб Analysis Services	Используйте эту задачу для обработки объектов табличной модели или куба SSAS.
Выполнение задачи пакета	Эту задачу SSIS можно использовать для выполнения других пакетов из того же проекта.
Выполнить задачу процесса	С помощью этой задачи вы можете указать параметры командной строки.
Задача файловой системы	Он производит манипуляции в файловой системе. Например, перемещение, переименование, удаление файлов и создание каталогов.
FTP-задачи	Он позволяет выполнять основные функции FTP.
Задача сценария	Это пустая задача. Вы можете написать NET-код, выполняющий любую задачу; вы хотите выступить.
Отправить Mail Сложность задачи	Вы можете отправить электронное письмо пользователям, уведомляющим о том, что ваш пакет завершен или произошла какая-то ошибка.
Массовая вставка задачи	Использование может загружать данные в таблицу с помощью команды массовой вставки.
Задача сценария	Запускает набор VB.NET или кодирование C# в среде Visual Studio.
Задача веб-службы	Он выполняет метод веб-службы.
Задача наблюдения за событиями WMI	Эта задача позволяет пакету SSIS ожидать и реагировать на определенные события WMI.
XML-задача	Эта задача поможет вам объединить, разделить или переформатировать любой XML-файл.

Другие важные инструменты ETL

• SAP Услуги по передаче данных
• Управление данными SAS
• Oracle Строитель складов (OWB)
• PowerCenter Информатика
• IBM Инфосферный информационный сервер
• Репертуар эликсира для ETL данных
• Поток данных Сарджента

Преимущества и недостатки использования SSIS

Инструмент SSIS предлагает следующие преимущества:

• Широкая документация и поддержка
• Простота и скорость внедрения
• Тесная интеграция с SQL Server и визуальная студия
• Стандартизированная интеграция данных
• Предлагает возможности работы в режиме реального времени на основе сообщений.
• Поддержка модели распространения
• Помогает устранить сеть как узкое место для вставки данных с помощью SSIS в SQL.
• SISS позволяет использовать назначение SQL Server вместо OLE DB для более быстрой загрузки данных.

Недостатки SSIS

Некоторые недостатки использования инструментов SSIS заключаются в следующем:

• Иногда возникают проблемы в средах, отличных от Windows.
• Неясное видение и стратегия
• В SSIS отсутствует поддержка альтернативных стилей интеграции данных.
• Проблемная интеграция с другими продуктами.

Пример лучших практик SSIS

• SSIS — это конвейер в памяти. Вот почему важно следить за тем, чтобы все преобразования происходили в памяти.
• Постарайтесь свести к минимуму регистрируемые операции.
• Планируйте мощность, понимая использование ресурсов
• Оптимизируйте преобразование поиска SQL, источник данных и место назначения.
• Планируйте и распределяйте это правильно

Резюме

• Полная форма SSIS — это службы интеграции SQL Server.
• Инструмент SSIS помогает вам объединять данные из различных хранилищ данных.
• Важными версиями службы интеграции SQL Server являются 2005, 2008, 2012, 2014 и 216.
• Среды Studio, соответствующие функции интеграции данных и эффективная скорость реализации — вот некоторые важные особенности SSIS.
• Поток управления, поток данных, обработчик событий, обозреватель пакетов и параметры являются важными компонентами архитектуры SSIS.
• Выполнение задачи SQL, задача потока данных, задача обработки служб Analysis Services, задача выполнения пакета, задача выполнения процесса, задача файловой системы, задачи FTP, отправка Mail Задача, Задача веб-службы — некоторые важные
• Широкая документация и поддержка
• Самым большим недостатком SSIS является отсутствие поддержки альтернативных стилей интеграции данных.
• SAP Службы данных, Управление данными SAS, Oracle Строитель складов (OWB), PowerCenter Informatica, IBM Инфосферный информационный сервер
• SSIS — это конвейер в памяти. Поэтому очень важно убедиться, что все преобразования происходят в памяти.