Hướng dẫn SSIS cho người mới bắt đầu: Là gì, Archikiến trúc, gói

SSIS là gì?

Dịch vụ tích hợp máy chủ SQL (SSIS) là một thành phần của Microsoft SQL Server phần mềm cơ sở dữ liệu có thể được sử dụng để thực hiện một loạt các nhiệm vụ di chuyển dữ liệu. SSIS là một công cụ lưu trữ dữ liệu nhanh chóng và linh hoạt được sử dụng để trích xuất, tải và chuyển đổi dữ liệu như làm sạch, tổng hợp, hợp nhất dữ liệu, v.v.

Nó giúp dễ dàng di chuyển dữ liệu từ cơ sở dữ liệu này sang cơ sở dữ liệu khác. SSIS có thể trích xuất dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu SQL Server, tệp Excel, Oracle và cơ sở dữ liệu DB2, v.v.

SSIS cũng bao gồm các công cụ đồ họa và trình hướng dẫn để thực hiện các chức năng quy trình công việc như gửi tin nhắn email, hoạt động FTP, nguồn dữ liệu và đích đến.

Tại sao chúng tôi sử dụng SSIS?

Dưới đây là những lý do chính để sử dụng công cụ SSIS:

  • Công cụ SSIS giúp bạn hợp nhất dữ liệu từ nhiều kho dữ liệu khác nhau
  • Tự động hóa các chức năng quản trị và tải dữ liệu
  • Điền vào các trung tâm dữ liệu và kho dữ liệu
  • Giúp bạn làm sạch và chuẩn hóa dữ liệu
  • Xây dựng BI thành quy trình chuyển đổi dữ liệu
  • Tự động hóa các chức năng quản trị và tải dữ liệu
  • SIS chứa GUI giúp người dùng chuyển đổi dữ liệu dễ dàng thay vì phải viết các chương trình lớn
  • Nó có thể tải hàng triệu hàng từ nguồn dữ liệu này sang nguồn dữ liệu khác trong vài phút
  • Xác định, nắm bắt và xử lý các thay đổi dữ liệu
  • Phối hợp bảo trì, xử lý hoặc phân tích dữ liệu
  • SSIS loại bỏ sự cần thiết của các lập trình viên khó tính
  • SSIS cung cấp khả năng xử lý sự kiện và lỗi mạnh mẽ

Lịch sử của SSIS

Trước đây, SSIS, SQL Server, Dịch vụ chuyển đổi dữ liệu (DTS) đã được sử dụng, là một phần của SQL Server 7 và 2000

phiên bản Chi tiết
SQL Server 2005 Microsoft nhóm đã quyết định cải tiến DTS. Tuy nhiên, thay vì cập nhật DTS, họ quyết định đặt tên sản phẩm là Dịch vụ tích hợp (SSIS).
Phiên bản máy chủ SQL 2008 Rất nhiều cải tiến về hiệu suất đã được thực hiện cho SSIS. Các nguồn mới cũng được giới thiệu.
SQL Server 2012 Đó là bản phát hành lớn nhất của SSIS. Với phiên bản này, khái niệm về mô hình triển khai dự án đã được giới thiệu. Nó cho phép toàn bộ dự án và các gói của chúng được triển khai đến một máy chủ, thay cho các gói cụ thể.
SQL Server 2014 Trong phiên bản này, không có nhiều thay đổi được thực hiện đối với SSIS. Nhưng các nguồn hoặc chuyển đổi mới đã được thêm vào, được thực hiện bằng cách tải xuống riêng biệt thông qua CodePlex hoặc Gói tính năng máy chủ SQL.
Trong máy chủ SQL 2016 Phiên bản này cho phép bạn triển khai toàn bộ dự án thay vì các gói riêng lẻ. Có các nguồn bổ sung, đặc biệt là đám mây, nguồn dữ liệu lớn và một số thay đổi đã được thực hiện đối với danh mục.

Tính năng nổi bật của SSIS

Dưới đây là một số tính năng cơ bản quan trọng của SSIS:

  • Môi trường studio
  • Các chức năng tích hợp dữ liệu liên quan
  • Tốc độ thực hiện hiệu quả
  • Tích hợp chặt chẽ với các Microsoft Họ SQL
  • Chuyển đổi truy vấn khai thác dữ liệu
  • Tra cứu mờ và chuyển đổi nhóm
  • Chuyển đổi trích xuất thuật ngữ và tra cứu thuật ngữ
  • Các thành phần kết nối dữ liệu tốc độ cao hơn như kết nối với SAP or Oracle

SSIS Archikiến trúc

SSIS Archikiến trúc
SSIS Archikiến trúc

Sau đây là các thành phần của kiến ​​trúc SSIS:

  • Luồng điều khiển (Lưu trữ vùng chứa và tác vụ)
  • Luồng dữ liệu (Nguồn, Đích, Chuyển đổi)
  • Trình xử lý sự kiện (gửi tin nhắn, Email)
  • Package Explorer (Cung cấp một chế độ xem duy nhất cho tất cả trong gói)
  • Thông số (Tương tác người dùng)

Chúng ta hãy hiểu chi tiết từng thành phần:

1. Luồng điều khiển

Luồng điều khiển là bộ não của gói SSIS. Nó giúp bạn sắp xếp thứ tự thực hiện cho tất cả các thành phần của nó. Các thành phần chứa các thùng chứa và tác vụ được quản lý bởi các ràng buộc về mức độ ưu tiên.

2. Ràng buộc ưu tiên

Ràng buộc ưu tiên là thành phần gói hướng dẫn các tác vụ thực thi theo thứ tự được xác định trước. Nó cũng xác định quy trình làm việc của toàn bộ gói SSIS. Nó kiểm soát việc thực thi hai tác vụ được liên kết bằng cách thực thi các tác vụ đích dựa trên kết quả của tác vụ trước đó - các quy tắc nghiệp vụ được xác định bằng các biểu thức đặc biệt.

3. Nhiệm vụ

'Nhiệm vụ' là một đơn vị công việc riêng lẻ. Nó giống như một phương thức/hàm được sử dụng trong ngôn ngữ lập trình. Tuy nhiên, trong SSIS, bạn không sử dụng các phương pháp mã hóa. Thay vào đó, bạn sẽ sử dụng kỹ thuật kéo và thả để thiết kế bề mặt và định cấu hình chúng.

4. Thùng chứa

Vùng chứa là các đơn vị để nhóm các nhiệm vụ lại với nhau thành các đơn vị công việc. Ngoài việc cung cấp tính nhất quán về mặt hình ảnh, nó còn cho phép bạn khai báo các biến và trình xử lý sự kiện phải nằm trong phạm vi của vùng chứa cụ thể đó.

Bốn loại vùng chứa trong SSIS là:

  • Vùng chứa trình tự
  • A Vùng chứa vòng lặp For
  • Vùng chứa vòng lặp Foreach

Vùng chứa trình tự: cho phép bạn tổ chức các tác vụ phụ bằng cách nhóm chúng lại và cho phép bạn áp dụng các giao dịch hoặc chỉ định ghi nhật ký cho vùng chứa.

Đối với vùng chứa vòng lặp:Cung cấp chức năng tương tự như Sequence Container ngoại trừ việc nó cũng cho phép bạn chạy các tác vụ nhiều lần. Tuy nhiên, nó dựa trên điều kiện đánh giá, giống như vòng lặp từ 1 đến 100.

Đối với mỗi Vùng chứa vòng lặp: Nó cũng cho phép lặp. Nhưng điểm khác biệt là thay vì sử dụng biểu thức điều kiện, vòng lặp được thực hiện trên một tập hợp các đối tượng, thích các tệp trong một thư mục.

5. Dòng dữ liệu

Công dụng chính của công cụ SSIS là trích xuất dữ liệu vào bộ nhớ của máy chủ, chuyển đổi dữ liệu và ghi dữ liệu đó vào một đích khác. Nếu Luồng điều khiển là bộ não thì Luồng dữ liệu là trái tim của SSIS

6. Gói SSIS

Một thành phần cốt lõi khác của SSIS là khái niệm về một gói. Đây là một tập hợp các tác vụ được thực hiện theo một cách có trật tự. Ở đây, các ràng buộc của chủ tịch giúp quản lý thứ tự mà tác vụ sẽ thực hiện.

Một gói có thể giúp bạn lưu các tập tin vào một SQL server, trong cơ sở dữ liệu danh mục gói hoặc msdb. Nó có thể lưu dưới dạng tệp .dtsx, đây là một tệp có cấu trúc rất giống với các tệp .rdl dành cho Dịch vụ Báo cáo.

Gói SSIS

KHAI THÁC. Thông số

Các tham số hoạt động giống như một biến nhưng có một vài ngoại lệ chính. Nó có thể được đặt bên ngoài gói một cách dễ dàng. Nó có thể được chỉ định là các giá trị phải được chuyển vào để gói bắt đầu.

Các loại nhiệm vụ SSIS

Trong công cụ SSIS, bạn có thể thêm tác vụ để kiểm soát luồng. Có nhiều loại nhiệm vụ khác nhau thực hiện các loại công việc khác nhau.

Một số nhiệm vụ SSIS quan trọng được đề cập dưới đây:

Tên nhiệm vụ Description
Thực thi tác vụ SQL Đúng như tên gọi của nó, nó sẽ thực thi một câu lệnh SQL dựa trên cơ sở dữ liệu quan hệ.
Nhiệm vụ luồng dữ liệu Tác vụ này có thể đọc dữ liệu từ một hoặc nhiều nguồn. Chuyển đổi dữ liệu khi nó ở trong bộ nhớ và ghi nó ra một hoặc nhiều đích.
Dịch vụ phân tích Nhiệm vụ xử lý Sử dụng tác vụ này để xử lý các đối tượng của mô hình dạng bảng hoặc dưới dạng khối SSAS.
Thực hiện nhiệm vụ gói Người sử dụng có thể sử dụng tác vụ SSIS này để thực thi các gói khác trong cùng một dự án.
Thực thi tác vụ quy trình Với sự trợ giúp của tác vụ này, bạn có thể chỉ định các tham số dòng lệnh.
Tác vụ hệ thống tệp Nó thực hiện các thao tác trong hệ thống tập tin. Giống như di chuyển, đổi tên, xóa tập tin và tạo thư mục.
Nhiệm vụ FTP Nó cho phép bạn thực hiện các chức năng FTP cơ bản.
Tác vụ tập lệnh Đây là một nhiệm vụ trống. Bạn có thể viết mã NET để thực hiện bất kỳ tác vụ nào; bạn muốn biểu diễn.
Gửi Mail Nhiệm vụ Bạn có thể gửi email để thông báo cho người dùng rằng gói của bạn đã hoàn tất hoặc xảy ra lỗi.
Tác vụ chèn hàng loạt Việc sử dụng có thể tải dữ liệu vào một bảng bằng cách sử dụng lệnh chèn hàng loạt.
Tác vụ tập lệnh Chạy một bộ VB.NET hoặc mã hóa C# trong môi trường Visual Studio.
Nhiệm vụ dịch vụ web Nó thực thi một phương thức trên một dịch vụ web.
Nhiệm vụ theo dõi sự kiện WMI Tác vụ này cho phép gói SSIS chờ và phản hồi các sự kiện WMI nhất định.
Nhiệm vụ XML Tác vụ này giúp bạn hợp nhất, phân tách hoặc định dạng lại bất kỳ tệp XML nào.

Các công cụ ETL quan trọng khác

  • SAP Dịch vụ dữ liệu
  • Quản lý dữ liệu SAS
  • Oracle Người xây dựng kho (OWB)
  • PowerCenter Informatica
  • IBM Máy chủ thông tin Infosphere
  • Tiết mục Elixir cho dữ liệu ETL
  • Luồng dữ liệu nghiêm trọng

Ưu điểm và nhược điểm của việc sử dụng SSIS

Công cụ SSIS cung cấp những lợi thế sau:

  • Tài liệu và hỗ trợ rộng rãi
  • Dễ dàng và tốc độ thực hiện
  • Tích hợp chặt chẽ với SQL Server và Visual Studio
  • Tích hợp dữ liệu được tiêu chuẩn hóa
  • Cung cấp khả năng dựa trên tin nhắn, thời gian thực
  • Hỗ trợ mô hình phân phối
  • Giúp bạn loại bỏ mạng làm nút cổ chai khi SSIS chèn dữ liệu vào SQL
  • SISS cho phép bạn sử dụng SQL Server Destination thay vì OLE DB để tải dữ liệu nhanh hơn

Nhược điểm của SSIS

Một số nhược điểm của việc sử dụng các công cụ SSIS như sau:

  • Đôi khi tạo ra các vấn đề trong môi trường không phải Windows
  • Tầm nhìn và chiến lược không rõ ràng
  • SSIS thiếu hỗ trợ cho các kiểu tích hợp dữ liệu thay thế
  • Tích hợp có vấn đề với các sản phẩm khác

Ví dụ về các phương pháp thực hành tốt nhất của SSIS

  • SSIS là một đường dẫn trong bộ nhớ. Đó là lý do tại sao điều quan trọng là phải đảm bảo rằng tất cả các biến đổi đều diễn ra trong bộ nhớ.
  • Cố gắng giảm thiểu các hoạt động được ghi lại
  • Lập kế hoạch năng lực bằng cách hiểu rõ việc sử dụng tài nguyên
  • Tối ưu hóa chuyển đổi tra cứu SQL, nguồn dữ liệu và đích
  • Lên lịch và phân phối nó một cách chính xác

Tổng kết

  • Dạng đầy đủ của SSIS là Dịch vụ tích hợp máy chủ SQL
  • Công cụ SSIS giúp bạn hợp nhất dữ liệu từ nhiều kho dữ liệu khác nhau
  • Các phiên bản quan trọng của SQL Server Integration Service là 2005, 2008, 2012, 2014 và 216
  • Môi trường Studio, Chức năng tích hợp dữ liệu liên quan và Tốc độ triển khai hiệu quả là một số tính năng quan trọng của SSIS
  • Control Flow, Data Flow, Event Handler, Package Explorer và Parameters là các thành phần thiết yếu của kiến ​​trúc SSIS
  • Thực thi tác vụ SQL, tác vụ luồng dữ liệu, tác vụ xử lý dịch vụ phân tích, thực thi tác vụ gói, thực thi tác vụ quy trình, tác vụ hệ thống tệp, tác vụ FTP, gửi Mail Nhiệm vụ, Nhiệm vụ dịch vụ web là một số quan trọng
  • Tài liệu và hỗ trợ rộng rãi
  • Hạn chế lớn nhất của SSIS là nó thiếu hỗ trợ cho các kiểu tích hợp dữ liệu thay thế
  • SAP Dịch vụ dữ liệu, Quản lý dữ liệu SAS, Oracle Trình tạo kho (OWB), PowerCenter Informatica, IBM Máy chủ thông tin Infosphere
  • SSIS là một đường dẫn trong bộ nhớ. Vì vậy, điều cần thiết là đảm bảo rằng tất cả các biến đổi xảy ra trong bộ nhớ