ETL (Ví dụ)trac(t, Chuyển đổi và Tải) Quy trình trong Kho dữ liệu
David Carter
Tóm tắt thông minh
ETL (Ví dụ)tracQuá trình (Transform, Load, and Load - TLS) trong kho dữ liệu mô tả luồng di chuyển dữ liệu một cách có hệ thống từ nhiều nguồn không đồng nhất vào một kho lưu trữ tập trung. Nó đảm bảo tính nhất quán, độ chính xác và sự sẵn sàng của dữ liệu cho phân tích thông qua việc trích xuất dữ liệu có cấu trúc.tracsự chuyển đổi, cải tiến và các cơ chế tải tối ưu.
ETL là gì?
ETL là một quá trình mà...tracETL thu thập dữ liệu từ các hệ thống nguồn khác nhau, sau đó biến đổi dữ liệu (như áp dụng các phép tính, nối chuỗi, v.v.) và cuối cùng tải dữ liệu vào hệ thống kho dữ liệu. ETL là viết tắt của Execution Technology (Executive Turnover).tract, Chuyển đổi và Tải.
Thật dễ dàng để nghĩ rằng việc tạo ra một kho dữ liệu chỉ đơn giản bao gồm...tracThu thập dữ liệu từ nhiều nguồn khác nhau và tải chúng vào cơ sở dữ liệu. Tuy nhiên, trên thực tế, điều này đòi hỏi một quy trình ETL phức tạp. Quy trình ETL cần sự tham gia tích cực từ nhiều bên liên quan, bao gồm các nhà phát triển, nhà phân tích, người kiểm thử và các nhà quản lý cấp cao, và là một thách thức về mặt kỹ thuật.
Để duy trì giá trị của nó như một công cụ hỗ trợ ra quyết định, hệ thống kho dữ liệu cần phải thay đổi theo sự thay đổi của hoạt động kinh doanh. ETL là một hoạt động định kỳ (hàng ngày, hàng tuần hoặc hàng tháng) của hệ thống kho dữ liệu và cần phải linh hoạt, tự động hóa và được ghi chép đầy đủ.
Tại sao bạn cần ETL?
Có nhiều lý do để áp dụng ETL trong tổ chức:
- Nó giúp các công ty phân tích dữ liệu kinh doanh để đưa ra các quyết định kinh doanh quan trọng.
- Cơ sở dữ liệu giao dịch không thể trả lời các câu hỏi kinh doanh phức tạp mà một ví dụ về ETL có thể giải đáp.
- Kho dữ liệu cung cấp một kho lưu trữ dữ liệu chung.
- ETL cung cấp phương pháp di chuyển dữ liệu từ nhiều nguồn khác nhau vào kho dữ liệu.
- Khi nguồn dữ liệu thay đổi, kho dữ liệu sẽ tự động cập nhật.
- Một hệ thống ETL được thiết kế và ghi chép tốt là yếu tố gần như thiết yếu cho sự thành công của một dự án kho dữ liệu.
- Cho phép xác minh các quy tắc chuyển đổi dữ liệu, tổng hợp và tính toán.
- Quy trình ETL cho phép so sánh dữ liệu mẫu giữa hệ thống nguồn và hệ thống đích.
- Quy trình ETL có thể thực hiện các phép biến đổi phức tạp và yêu cầu một khu vực riêng để lưu trữ dữ liệu.
- ETL giúp di chuyển dữ liệu vào Kho dữ liệu, chuyển đổi các định dạng và loại dữ liệu khác nhau thành một hệ thống nhất quán.
- ETL là một quy trình được xác định trước để truy cập và thao tác dữ liệu nguồn vào cơ sở dữ liệu đích.
- Quy trình ETL trong kho dữ liệu cung cấp bối cảnh lịch sử sâu sắc cho doanh nghiệp.
- Nó giúp cải thiện năng suất vì nó mã hóa và tái sử dụng mà không cần kỹ năng chuyên môn.
Sau khi đã hiểu rõ giá trị của ETL, chúng ta hãy cùng tìm hiểu quy trình ba bước giúp nó hoạt động hiệu quả.
Quy trình ETL trong kho dữ liệu
ETL là một quá trình gồm 3 bước
Bước 1) Ví dụtracsản xuất
Trong bước này của kiến trúc ETL, dữ liệu được trích xuất.tracDữ liệu được sao chép từ hệ thống nguồn vào khu vực lưu trữ tạm thời. Các phép biến đổi, nếu có, được thực hiện trong khu vực lưu trữ tạm thời để hiệu suất của hệ thống nguồn không bị suy giảm. Ngoài ra, nếu dữ liệu bị lỗi được sao chép trực tiếp từ nguồn vào cơ sở dữ liệu kho dữ liệu, việc hoàn tác sẽ rất khó khăn. Khu vực lưu trữ tạm thời tạo cơ hội để xác thực dữ liệu.tracDữ liệu được xử lý trước khi được chuyển vào kho dữ liệu.
Kho dữ liệu cần tích hợp các hệ thống có hệ quản trị cơ sở dữ liệu (DBMS), phần cứng khác nhau, OperaCác hệ thống và giao thức truyền thông. Nguồn dữ liệu có thể bao gồm các ứng dụng cũ như máy tính lớn (Mainframe), các ứng dụng tùy chỉnh, thiết bị điểm tiếp xúc như máy ATM, tổng đài, tệp văn bản, bảng tính, hệ thống hoạch định nguồn lực doanh nghiệp (ERP), dữ liệu từ nhà cung cấp và đối tác, cùng nhiều nguồn khác.
Do đó, cần có một sơ đồ dữ liệu logic trước khi dữ liệu được trích xuất.tracĐã được tải và lưu trữ vật lý. Bản đồ dữ liệu này mô tả mối quan hệ giữa dữ liệu nguồn và dữ liệu đích.
Ba ví dụ dữ liệutracphương pháp tion:
- Ex đầy đủtracsản xuất
- Ví dụ một phầntraction- mà không có thông báo cập nhật.
- Ví dụ một phầntracthông báo cập nhật
Bất kể phương pháp nào được sử dụng, ví dụtracViệc này không được ảnh hưởng đến hiệu suất và thời gian phản hồi của các hệ thống nguồn. Các hệ thống nguồn này là các cơ sở dữ liệu sản xuất đang hoạt động. Bất kỳ sự chậm lại hoặc tắc nghẽn nào cũng có thể ảnh hưởng đến lợi nhuận của công ty.
Một số bước xác thực được thực hiện trong quá trình Extracsự:
- Đối chiếu các bản ghi với dữ liệu nguồn
- Hãy đảm bảo rằng không có dữ liệu rác/không mong muốn nào được tải lên.
- Kiểm tra kiểu dữ liệu
- Loại bỏ tất cả các loại dữ liệu trùng lặp/phân mảnh
- Kiểm tra xem tất cả các chìa khóa đã được đặt đúng vị trí chưa.
Bước 2) Chuyển đổi
Dữ liệu cũtracDữ liệu nhận được từ máy chủ nguồn ở dạng thô và không thể sử dụng được ở dạng ban đầu. Do đó, nó cần được làm sạch, ánh xạ và chuyển đổi. Trên thực tế, đây là bước quan trọng mà quy trình ETL tạo ra giá trị và thay đổi dữ liệu để có thể tạo ra các báo cáo BI hữu ích.
Đây là một trong những khái niệm ETL quan trọng, trong đó bạn áp dụng một tập hợp các hàm trên ví dụ...tracDữ liệu đã được xử lý. Dữ liệu không cần bất kỳ sự chuyển đổi nào được gọi là di chuyển trực tiếp or dữ liệu truyền qua.
Trong bước chuyển đổi dữ liệu, bạn có thể thực hiện các thao tác tùy chỉnh trên dữ liệu. Ví dụ, nếu người dùng muốn tính tổng doanh thu bán hàng mà dữ liệu đó không có trong cơ sở dữ liệu. Hoặc nếu tên và họ trong một bảng nằm ở các cột khác nhau. Bạn có thể nối chúng lại với nhau trước khi tải dữ liệu.
Dưới đây là dữ liệu. Integrity Vấn đề:
- Các cách viết khác nhau cho cùng một người, ví dụ như Jon, John, v.v.
- Có nhiều cách để thể hiện tên công ty, ví dụ như... Google, Google Inc.
- Việc sử dụng các tên gọi khác nhau như Cleaveland và Cleveland.
- Có thể xảy ra trường hợp các ứng dụng khác nhau tạo ra các số tài khoản khác nhau cho cùng một khách hàng.
- Trong một số trường hợp, các tệp dữ liệu cần thiết vẫn trống.
- Sản phẩm không hợp lệ được thu thập tại điểm bán hàng do nhập liệu thủ công có thể dẫn đến sai sót.
Việc xác nhận được thực hiện trong giai đoạn này
- Lọc - Chỉ chọn một số cột nhất định để tải
- Sử dụng quy tắc và bảng tra cứu để chuẩn hóa dữ liệu
- Xử lý chuyển đổi và mã hóa bộ ký tự
- Chuyển đổi đơn vị đo lường, chẳng hạn như chuyển đổi ngày giờ, chuyển đổi tiền tệ, chuyển đổi số, v.v.
- Kiểm tra xác thực ngưỡng dữ liệu. Ví dụ: tuổi không được có nhiều hơn hai chữ số.
- Xác thực luồng dữ liệu từ khu vực tổ chức đến các bảng trung gian.
- Các trường bắt buộc không được để trống.
- Dọn dẹp (ví dụ: bản đồ)ping (Null thành 0 hoặc Giới tính Nam thành “M” và Nữ thành “F”, v.v.)
- Chia một cột thành nhiều cột và hợp nhất nhiều cột thành một cột.
- Chuyển đổi hàng và cột,
- Sử dụng tra cứu để hợp nhất dữ liệu
- Sử dụng bất kỳ quy tắc kiểm tra dữ liệu phức tạp nào (ví dụ: nếu hai cột đầu tiên trong một hàng trống, thì hệ thống sẽ tự động loại bỏ hàng đó khỏi quá trình xử lý).
Bước 3) Đang tải
Việc tải dữ liệu vào cơ sở dữ liệu kho dữ liệu đích là bước cuối cùng của quy trình ETL. Trong một kho dữ liệu điển hình, một khối lượng dữ liệu khổng lồ cần được tải trong một khoảng thời gian tương đối ngắn (vài đêm). Do đó, quy trình tải dữ liệu cần được tối ưu hóa về hiệu suất.
Trong trường hợp xảy ra lỗi tải dữ liệu, cần cấu hình các cơ chế phục hồi để khởi động lại từ điểm xảy ra lỗi mà không làm mất tính toàn vẹn dữ liệu. Quản trị viên kho dữ liệu cần giám sát, tiếp tục và hủy bỏ các lần tải dữ liệu tùy thuộc vào hiệu suất máy chủ hiện tại.
Các loại tải:
- Tải ban đầu — điền dữ liệu vào tất cả các bảng trong kho dữ liệu
- tải gia tăng — Áp dụng các thay đổi liên tục định kỳ khi cần thiết.
- Làm mới hoàn toàn —xóa nội dung của một hoặc nhiều bảng và tải lại dữ liệu mới.
tải xác minh
- Đảm bảo rằng dữ liệu trường khóa không bị thiếu hoặc không có giá trị.
- Kiểm tra các chế độ xem mô hình dựa trên các bảng mục tiêu.
- Kiểm tra lại các giá trị kết hợp và các số đo đã tính toán.
- Kiểm tra dữ liệu trong bảng chiều cũng như bảng lịch sử.
- Kiểm tra báo cáo BI trên bảng dữ kiện và thứ nguyên đã tải.
Xử lý song song và quy trình ETL
ETL pipelining cho phép ví dụtracquá trình chuyển đổi, biến đổi và tải trọng diễn ra đồng thời thay vì tuần tự. Ngay khi một phần dữ liệu được lấy ratracted, nó được chuyển đổi và tải trong khi dữ liệu mới được xuất ra.tracSự việc này vẫn tiếp diễn. tiến trình song song Cải thiện đáng kể hiệu suất, giảm thời gian ngừng hoạt động và tối đa hóa việc sử dụng tài nguyên hệ thống.
Quá trình xử lý song song này rất cần thiết cho phân tích thời gian thực, tích hợp dữ liệu quy mô lớn và các hệ thống ETL dựa trên đám mây. Do sự chồng chéoping Các tác vụ ETL theo kiểu đường ống đảm bảo việc di chuyển dữ liệu nhanh hơn, hiệu quả cao hơn và cung cấp dữ liệu nhất quán hơn cho các doanh nghiệp hiện đại.
Trí tuệ nhân tạo (AI) nâng cao hiệu quả các quy trình ETL hiện đại như thế nào?
Trí tuệ nhân tạo revolutIonizes ETL bằng cách làm cho các đường dẫn dữ liệu trở nên thích ứng, thông minh và tự tối ưu hóa. Các thuật toán AI có thể tự động ánh xạ lược đồ, phát hiện các bất thường và dự đoán các quy tắc chuyển đổi mà không cần cấu hình thủ công. Điều này cho phép các quy trình ETL xử lý các cấu trúc dữ liệu đang thay đổi một cách dễ dàng trong khi vẫn duy trì chất lượng dữ liệu.
Các nền tảng ETL hiện đại được tăng cường bởi AI tận dụng các công nghệ như AutoML để tự động trích xuất đặc trưng, lập bản đồ lược đồ dựa trên xử lý ngôn ngữ tự nhiên (NLP).ping Hệ thống này hiểu được mối quan hệ ngữ nghĩa giữa các trường dữ liệu, cùng với các thuật toán phát hiện bất thường giúp xác định các vấn đề về chất lượng dữ liệu trong thời gian thực. Những khả năng này giúp giảm đáng kể công sức thủ công thường cần thiết trong quá trình phát triển và bảo trì ETL.
học máy Tăng cường khả năng tinh chỉnh hiệu suất, đảm bảo tích hợp dữ liệu nhanh hơn và chính xác hơn. Bằng cách giới thiệu tự động hóa và trí tuệ dự đoán, ETL được hỗ trợ bởi AI cung cấp thông tin chi tiết theo thời gian thực và thúc đẩy hiệu quả cao hơn trên các hệ sinh thái dữ liệu đám mây và lai.
Để triển khai các khái niệm đã thảo luận ở trên, các tổ chức dựa vào các công cụ ETL chuyên dụng. Dưới đây là một số lựa chọn hàng đầu hiện có trên thị trường.
Công cụ ETL
Có rất nhiều công cụ ETL Hiện có bán trên thị trường. Dưới đây là một số sản phẩm nổi bật nhất:
1. MarkLogic:
MarkLogic là giải pháp kho dữ liệu giúp tích hợp dữ liệu dễ dàng và nhanh chóng hơn bằng cách sử dụng một loạt các tính năng dành cho doanh nghiệp. Nó có thể truy vấn nhiều loại dữ liệu khác nhau như tài liệu, mối quan hệ và siêu dữ liệu.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle Đây là cơ sở dữ liệu hàng đầu trong ngành. Nó cung cấp một loạt các giải pháp kho dữ liệu cho cả môi trường tại chỗ và trên đám mây. Nó giúp tối ưu hóa trải nghiệm khách hàng bằng cách tăng hiệu quả hoạt động.
https://www.oracle.com/index.html
3. Amazon đỏShift:
Amazon Redshift là một công cụ kho dữ liệu. Đây là một công cụ đơn giản và tiết kiệm chi phí để phân tích tất cả các loại dữ liệu bằng cách sử dụng các phương pháp tiêu chuẩn. SQL và các công cụ BI hiện có. Nó cũng cho phép chạy các truy vấn phức tạp trên petabyte dữ liệu có cấu trúc.
https://aws.amazon.com/redshift/?nc2=h_m1
Đây là danh sách đầy đủ các thông tin hữu ích Công cụ kho dữ liệu.
Các phương pháp tốt nhất cho quy trình ETL
Sau đây là các bước thực hành tốt nhất cho quy trình ETL:
- Đừng bao giờ cố gắng xóa tất cả dữ liệu:
Mọi tổ chức đều muốn có tất cả dữ liệu sạch sẽ, nhưng hầu hết đều không sẵn sàng trả tiền để chờ đợi, hoặc không muốn chờ đợi. Việc làm sạch toàn bộ dữ liệu sẽ mất quá nhiều thời gian, vì vậy tốt hơn hết là không nên cố gắng làm sạch tất cả dữ liệu. - Cân bằng giữa việc dọn dẹp và các ưu tiên kinh doanh:
Mặc dù nên tránh việc làm sạch quá mức tất cả dữ liệu, hãy đảm bảo rằng các trường dữ liệu quan trọng và có tác động lớn được làm sạch để đảm bảo độ tin cậy. Tập trung nỗ lực làm sạch vào các yếu tố dữ liệu ảnh hưởng trực tiếp đến các quyết định kinh doanh và độ chính xác của báo cáo. - Xác định chi phí làm sạch dữ liệu:
Trước khi làm sạch tất cả dữ liệu bẩn, điều quan trọng là bạn phải xác định chi phí làm sạch cho mọi thành phần dữ liệu bẩn. - Để tăng tốc độ xử lý truy vấn, có các chế độ xem và chỉ mục phụ trợ:
Để giảm chi phí lưu trữ, hãy lưu trữ dữ liệu tóm tắt vào băng đĩa. Ngoài ra, cần phải có sự cân bằng giữa khối lượng dữ liệu được lưu trữ và mức sử dụng chi tiết của nó. Đánh đổi ở mức độ chi tiết của dữ liệu để giảm chi phí lưu trữ.
