Kho dữ liệu là gì? Các loại kho dữ liệu
David Carter
⚡ Tóm tắt thông minh
Kho dữ liệu (Data Warehouse) định nghĩa một kho lưu trữ tập trung, hợp nhất thông tin từ nhiều nguồn khác nhau để phân tích, báo cáo và hỗ trợ ra quyết định. Bài hướng dẫn này giải thích lịch sử, mô hình hoạt động, các loại, giai đoạn, thành phần, các bước triển khai, ưu điểm, nhược điểm và các công cụ nổi bật làm nên nền tảng của Trí tuệ Kinh doanh hiện đại (Business Intelligence).
Kho dữ liệu là gì?
Kho dữ liệu (Data Warehousing - DW) Kho dữ liệu (Data Warehouse) là quá trình thu thập và quản lý dữ liệu từ nhiều nguồn khác nhau để cung cấp những thông tin kinh doanh có ý nghĩa. Kho dữ liệu thường được sử dụng để kết nối và phân tích dữ liệu kinh doanh từ các nguồn không đồng nhất, và nó là cốt lõi của bất kỳ hệ thống Business Intelligence (BI) nào được xây dựng để phân tích và báo cáo dữ liệu.
Kho dữ liệu (Data Warehousing) là sự kết hợp giữa các công nghệ và thành phần hỗ trợ việc sử dụng dữ liệu một cách chiến lược. Đó là việc lưu trữ điện tử một lượng lớn thông tin kinh doanh được thiết kế để truy vấn và phân tích chứ không phải để xử lý giao dịch. Kho dữ liệu chuyển đổi dữ liệu thô thành thông tin hữu ích và cung cấp cho người dùng kịp thời để họ đưa ra những quyết định quan trọng.
Cơ sở dữ liệu hỗ trợ ra quyết định (Kho dữ liệu) được duy trì riêng biệt với cơ sở dữ liệu hoạt động của tổ chức. Kho dữ liệu không phải là một sản phẩm mà là một môi trường — một cấu trúc kiến trúc của hệ thống thông tin cung cấp cho người dùng thông tin hỗ trợ ra quyết định hiện tại và lịch sử mà khó có thể truy cập hoặc trình bày trong kho dữ liệu hoạt động truyền thống.
Có thể bạn đã biết rằng một cơ sở dữ liệu được thiết kế theo chuẩn 3NF cho hệ thống quản lý kho thường có rất nhiều bảng liên kết với nhau. Ví dụ, một báo cáo về tồn kho hiện tại có thể yêu cầu hơn 12 điều kiện kết nối, điều này làm chậm thời gian phản hồi truy vấn và báo cáo. Kho dữ liệu (Data Warehouse) cung cấp thiết kế phi chuẩn hóa giúp giảm thời gian phản hồi và cải thiện hiệu suất cho việc báo cáo và phân tích.
Hệ thống kho dữ liệu còn được biết đến với các tên gọi sau:
- Hệ thống hỗ trợ quyết định (DSS)
- Hệ Thống Điều Hành Thông Tin
- Hệ thống thông tin quản lý
- Giải pháp kinh doanh thông minh
- Ứng dụng phân tích
- Kho dữ liệu
Lịch sử của kho dữ liệu
Kho dữ liệu giúp người dùng hiểu và cải thiện hiệu suất hoạt động của tổ chức. Nhu cầu lưu trữ dữ liệu phát triển cùng với sự phức tạp của hệ thống máy tính và khả năng xử lý khối lượng thông tin ngày càng tăng. Kho dữ liệu không phải là một khái niệm mới — nó có một lịch sử phát triển lâu dài.
Dưới đây là một số sự kiện quan trọng trong quá trình phát triển của Kho dữ liệu:
- 1960 — Đại học Dartmouth và công ty General Mills, trong một dự án nghiên cứu chung, đã phát triển các thuật ngữ “kích thước” và “sự kiện”.
- 1970 — AC Nielsen và IRI giới thiệu kho dữ liệu đa chiều cho doanh số bán lẻ.
- 1983 — Tập đoàn Teradata giới thiệu hệ thống quản lý cơ sở dữ liệu được thiết kế đặc biệt để hỗ trợ ra quyết định.
- Cuối những năm 1980 - IBM Các nhà nghiên cứu Paul Murphy và Barry Devlin đã phát triển khái niệm Kho dữ liệu doanh nghiệp (Business Data Warehouse).
- Tầm nhìn về kho dữ liệu hiện đại được cho là nhờ vào... Bill inmonÔng thường được gọi là “cha đẻ của kho dữ liệu”. Ông là tác giả của những tác phẩm nền tảng về xây dựng, sử dụng và bảo trì kho dữ liệu cũng như Nhà máy Thông tin Doanh nghiệp.
Kho dữ liệu hoạt động như thế nào?
Kho dữ liệu (Data Warehouse) hoạt động như một kho lưu trữ trung tâm, nơi thông tin được thu thập từ một hoặc nhiều nguồn dữ liệu. Dữ liệu được đưa vào kho từ các hệ thống giao dịch và các cơ sở dữ liệu quan hệ khác.
Dữ liệu đầu vào có thể là:
- Cấu trúc
- bán cấu trúc
- Không có cấu trúc
Dữ liệu được xử lý, chuyển đổi và nhập liệu để người dùng có thể truy cập vào tập dữ liệu đã được chọn lọc thông qua các công cụ Business Intelligence, các ứng dụng SQL và bảng tính. Kho dữ liệu (Data Warehouse) hợp nhất thông tin từ các nguồn khác nhau vào một cơ sở dữ liệu toàn diện duy nhất.
Bằng cách tập hợp tất cả thông tin này vào một nơi, một tổ chức có thể phân tích khách hàng của mình một cách toàn diện và xác nhận rằng họ đã xem xét mọi điểm dữ liệu có sẵn. Kho dữ liệu (Data Warehousing) giúp cho việc khai thác dữ liệu (Data Mining) trở nên khả thi — Khai thác dữ liệu tìm kiếm các mẫu trong dữ liệu dẫn đến doanh số cao hơn, chi phí thấp hơn và dự báo tốt hơn.
Các loại kho dữ liệu
Ba loại kho dữ liệu (Data Warehouse - DWH) chính là:
1. Kho dữ liệu doanh nghiệp (EDW):
Kho dữ liệu doanh nghiệp (Enterprise Data Warehouse - Enterprise Data Warehouse) là một kho dữ liệu tập trung cung cấp các dịch vụ hỗ trợ ra quyết định trên toàn bộ tổ chức. Nó cung cấp một phương pháp thống nhất để tổ chức và trình bày dữ liệu, đồng thời cho phép phân loại dữ liệu theo chủ đề và cấp quyền truy cập theo các phân chia đó.
2. OperaKho dữ liệu quốc gia (ODS):
An OperaKho dữ liệu quốc gia (ODS) là một kho dữ liệu được sử dụng khi cả Kho dữ liệu (Data Warehouse) lẫn hệ thống OLTP đều không đáp ứng được nhu cầu báo cáo của tổ chức. Trong ODS, dữ liệu được cập nhật theo thời gian thực, điều này làm cho nó trở nên lý tưởng cho các hoạt động thường xuyên như lưu trữ hồ sơ nhân viên hiện tại.
3. Siêu thị dữ liệu:
A Dữ liệu Mart Data Mart là một tập hợp con của Data Warehouse được thiết kế cho một lĩnh vực kinh doanh cụ thể, chẳng hạn như bán hàng, tài chính hoặc tiếp thị. Trong một Data Mart độc lập, dữ liệu có thể được thu thập trực tiếp từ các hệ thống nguồn.
Các giai đoạn chung của kho dữ liệu
Ban đầu, các tổ chức áp dụng những cách sử dụng Kho dữ liệu tương đối đơn giản. Theo thời gian, các mô hình phức tạp hơn đã xuất hiện. Sau đây là các giai đoạn chung của việc sử dụng Kho dữ liệu (DWH):
Ẩn OperaCơ sở dữ liệu quốc tế:
Dữ liệu được sao chép từ hệ điều hành này sang máy chủ khác. Việc tải, xử lý và báo cáo dựa trên bản sao này không ảnh hưởng đến hiệu năng của hệ điều hành.
Kho dữ liệu ngoại tuyến:
Dữ liệu trong kho dữ liệu được cập nhật thường xuyên từ cơ sở dữ liệu vận hành. Dữ liệu được ánh xạ và chuyển đổi để đáp ứng các mục tiêu của kho dữ liệu.
Kho dữ liệu thời gian thực:
Kho dữ liệu được cập nhật mỗi khi có giao dịch diễn ra trong cơ sở dữ liệu hoạt động. Hệ thống đặt vé máy bay và tàu hỏa là những ví dụ điển hình.
Kho dữ liệu tích hợp:
Kho dữ liệu được cập nhật liên tục khi các hệ thống vận hành thực hiện giao dịch. Sau đó, kho dữ liệu tạo ra các giao dịch được chuyển ngược lại cho hệ thống vận hành.
Các thành phần của kho dữ liệu
Bốn thành phần của Kho dữ liệu là:
Quản lý tải: Còn được gọi là thành phần phía trước, Trình quản lý tải xử lý tất cả các hoạt động liên quan đến extracViệc nhập và tải dữ liệu vào kho dữ liệu. Các thao tác này bao gồm các phép biến đổi chuẩn bị dữ liệu để nhập vào Kho dữ liệu.
Quản lý kho: Quản lý kho thực hiện các hoạt động liên quan đến quản lý dữ liệu bên trong kho. Họ phân tích dữ liệu để đảm bảo tính nhất quán, tạo chỉ mục và chế độ xem, tạo các bản sao lưu và tổng hợp dữ liệu, chuyển đổi và hợp nhất dữ liệu nguồn, cũng như lưu trữ hoặc sao lưu dữ liệu.
Trình quản lý truy vấn: Còn được gọi là thành phần phụ trợ, Trình quản lý truy vấn xử lý các hoạt động liên quan đến truy vấn của người dùng. Nó định tuyến các truy vấn đến các bảng thích hợp và lên lịch thực thi chúng.
Công cụ truy cập dành cho người dùng cuối:
Các công cụ này được chia thành năm nhóm: 1) Công cụ báo cáo dữ liệu, 2) Công cụ truy vấn, 3) Công cụ phát triển ứng dụng, 4) Công cụ EIS và 5) Công cụ OLAP. Công cụ khai thác dữ liệu.
Ai cần kho dữ liệu?
Kho dữ liệu (Data Warehouse - DWH) là cần thiết cho tất cả các loại người dùng, bao gồm:
- Những người ra quyết định dựa vào lượng dữ liệu lớn.
- Người dùng thực hiện các quy trình phức tạp, tùy chỉnh để kết hợp thông tin từ nhiều nguồn khác nhau.
- Những người muốn sử dụng công nghệ đơn giản, dễ dàng để truy cập dữ liệu.
- Các nhóm muốn có một phương pháp ra quyết định có hệ thống và có thể lặp lại.
- Ứng dụng này phù hợp với người dùng cần hiệu năng nhanh trên các tập dữ liệu khổng lồ để tạo báo cáo, bảng điều khiển, lưới hoặc biểu đồ.
- Các nhà phân tích đang tìm cách khám phá các mô hình ẩn trong luồng dữ liệu và nhóm dữ liệu.pings.
Kho dữ liệu được sử dụng để làm gì?
Dưới đây là những lĩnh vực phổ biến nhất sử dụng kho dữ liệu:
Hãng hàng không:
Trong ngành hàng không, kho dữ liệu hỗ trợ việc phân công phi hành đoàn, phân tích lợi nhuận tuyến bay, các chương trình khuyến mãi dành cho khách hàng thường xuyên và các quyết định vận hành tương tự.
Ngân hàng:
Kho dữ liệu được sử dụng rộng rãi trong ngành ngân hàng để quản lý hiệu quả các nguồn lực. Một số ngân hàng cũng sử dụng chúng cho nghiên cứu thị trường, phân tích hiệu suất sản phẩm và lập kế hoạch hoạt động.
Chăm sóc sức khỏe:
Ngành chăm sóc sức khỏe sử dụng kho dữ liệu (Data Warehouse) để lập chiến lược và dự đoán kết quả, tạo báo cáo điều trị bệnh nhân và chia sẻ dữ liệu với các đối tác bảo hiểm và dịch vụ hỗ trợ y tế.
Khu vực công:
Trong khu vực công, kho dữ liệu hỗ trợ thu thập thông tin và giúp các cơ quan chính phủ duy trì và phân tích hồ sơ thuế và hồ sơ chính sách y tế cho từng cá nhân.
Đầu tư và Bảo hiểm:
Trong lĩnh vực này, kho hàng được sử dụng để phân tích các mẫu dữ liệu, xu hướng khách hàng và biến động thị trường.
Chuỗi bán lẻ:
Các chuỗi bán lẻ sử dụng kho dữ liệu (Data Warehouse) cho việc phân phối và tiếp thị, để tracPhân tích các mặt hàng và thói quen mua hàng của khách hàng, lập kế hoạch khuyến mãi và xác định chính sách giá cả.
Viễn thông:
Các công ty viễn thông sử dụng kho dữ liệu (Data Warehouse) cho các chương trình khuyến mãi sản phẩm, quyết định bán hàng và quyết định phân phối.
Ngành công nghiệp khách sạn:
Ngành công nghiệp khách sạn sử dụng kho dữ liệu để thiết kế và ước tính các chiến dịch quảng cáo và khuyến mãi nhắm mục tiêu đến khách hàng dựa trên phản hồi và thói quen đi lại.
Các bước để triển khai kho dữ liệu
Cách tốt nhất để quản lý rủi ro kinh doanh liên quan đến việc triển khai Kho dữ liệu là tuân theo chiến lược ba bước:
- Chiến lược doanh nghiệp: Xác định kiến trúc kỹ thuật và các công cụ hiện tại, cùng với các thông tin, khía cạnh và thuộc tính mà kho dữ liệu phải hỗ trợ. Bản đồ dữ liệuping và sự chuyển đổi là một phần của giai đoạn này.
- Giao hàng theo từng giai đoạn: Triển khai kho dữ liệu theo từng giai đoạn dựa trên các lĩnh vực chuyên môn. Các thực thể kinh doanh liên quan như đặt chỗ và lập hóa đơn nên được triển khai trước, sau đó mới được tích hợp.
- Nguyên mẫu lặp lạiping: Thay vì triển khai một cách đồng loạt, kho dữ liệu nên được phát triển, thử nghiệm và tinh chỉnh theo từng bước lặp đi lặp lại.
Dưới đây là các bước chính trong quá trình triển khai Kho dữ liệu cùng với các kết quả đạt được:
| Bước | Nhiệm vụ | Phân phôi |
|---|---|---|
| 1 | Xác định phạm vi dự án | Định nghĩa phạm vi |
| 2 | Xác định nhu cầu kinh doanh | Mô hình dữ liệu logic |
| 3 | Định nghĩa OperaYêu cầu về kho dữ liệu quốc gia | OperaMô hình lưu trữ dữ liệu quốc tế |
| 4 | Thu thập hoặc phát triển extraccông cụ hoạt động | ExtracCông cụ và phần mềm |
| 5 | Xác định các yêu cầu dữ liệu của kho dữ liệu | Mô hình dữ liệu chuyển tiếp |
| 6 | Tài liệu thiếu dữ liệu | Danh sách dự án cần làm |
| 7 | Bản đồ OperaKho dữ liệu quốc tế tới kho dữ liệu | Bản đồ tích hợp dữ liệu DW |
| 8 | Phát triển thiết kế cơ sở dữ liệu kho dữ liệu | Thiết kế cơ sở dữ liệu DW |
| 9 | Extracdữ liệu t từ Operakho dữ liệu quốc tế | Dữ liệu DW tích hợptracts |
| 10 | Tải kho dữ liệu | Tải dữ liệu ban đầu |
| 11 | Bảo trì kho dữ liệu | Truy cập dữ liệu liên tục và các lần tải tiếp theo |
Các phương pháp tốt nhất để triển khai kho dữ liệu
- Hãy lập kế hoạch để kiểm tra tính nhất quán, độ chính xác và tính toàn vẹn của dữ liệu.
- Kho dữ liệu phải được tích hợp tốt, được định nghĩa rõ ràng và có dấu thời gian.
- Khi thiết kế kho dữ liệu, hãy sử dụng công cụ phù hợp, tuân theo vòng đời của nó, giải quyết xung đột dữ liệu sớm và học hỏi từ những sai lầm.
- Không bao giờ được thay thế hệ thống vận hành và báo cáo vận hành bằng kho hàng.
- Đừng dành quá nhiều thời gian cho việc...tracThu thập, làm sạch và tải dữ liệu — tự động hóa bất cứ khi nào có thể.
- Thu hút tất cả các bên liên quan, bao gồm cả các nhóm kinh doanh, tham gia vào quá trình triển khai Kho dữ liệu. Coi kho dữ liệu như một dự án chung để nó vẫn hữu ích cho người dùng cuối.
- Chuẩn bị một kế hoạch đào tạo cho người dùng cuối.
Ưu điểm và nhược điểm của kho dữ liệu
Ưu điểm của kho dữ liệu (Data Warehouse - DWH):
- Người dùng doanh nghiệp có thể nhanh chóng truy cập dữ liệu quan trọng từ nhiều nguồn khác nhau tại một nơi duy nhất.
- Cung cấp thông tin nhất quán cho các hoạt động đa chức năng và hỗ trợ việc lập báo cáo và truy vấn đột xuất.
- Tích hợp nhiều nguồn dữ liệu, giúp giảm tải cho hệ thống sản xuất.
- Giảm tổng thời gian xử lý phân tích và báo cáo.
- Việc tái cấu trúc và tích hợp giúp việc báo cáo và phân tích trở nên dễ dàng hơn đối với người dùng cuối.
- Giúp người dùng tiết kiệm thời gian bằng cách loại bỏ nhu cầu phải truy xuất dữ liệu từ nhiều nguồn khác nhau.
- Lưu trữ lượng lớn dữ liệu lịch sử, cho phép phân tích xu hướng và dự đoán tương lai.
Nhược điểm của kho dữ liệu:
- Không phải là một lựa chọn lý tưởng cho dữ liệu phi cấu trúc.
- Việc tạo lập và triển khai tốn nhiều thời gian.
- Kho dữ liệu có thể trở nên lỗi thời khá nhanh nếu không được bảo trì thường xuyên.
- Việc thay đổi kiểu dữ liệu, phạm vi, lược đồ nguồn, chỉ mục hoặc truy vấn rất khó khăn.
- Kho dữ liệu (Data Warehouse) thoạt nhìn có vẻ dễ sử dụng nhưng thực chất lại phức tạp đối với người dùng thông thường.
- Mặc dù đã nỗ lực hết sức, phạm vi dự án thường có xu hướng mở rộng trong quá trình thực hiện.
- Các bộ phận kinh doanh khác nhau đôi khi đưa ra các quy tắc kinh doanh trái ngược nhau.
- Các tổ chức phải phân bổ nguồn lực đáng kể cho việc đào tạo và triển khai.
Tương lai của kho dữ liệu
- ràng buộc pháp lý Điều này có thể hạn chế khả năng kết hợp các nguồn dữ liệu khác nhau, bao gồm cả dữ liệu phi cấu trúc khó lưu trữ và quản lý hơn.
- như kích thước Khi số lượng cơ sở dữ liệu tăng lên, định nghĩa về cơ sở dữ liệu rất lớn cũng liên tục thay đổi, và việc xây dựng và vận hành các kho dữ liệu ở quy mô đó ngày càng trở nên phức tạp.
- Dữ liệu đa phương tiện Không thể thao tác dễ dàng như văn bản. Phần mềm quan hệ xử lý thông tin văn bản tốt, nhưng đa phương tiện phong phú vẫn là một lĩnh vực nghiên cứu đang được quan tâm.
Công cụ kho dữ liệu
Hiện nay có rất nhiều công cụ Kho dữ liệu (Data Warehousing) trên thị trường. Dưới đây là một số công cụ nổi bật nhất:
1. MarkLogic:
đánh dấuLogic Đây là giải pháp Kho dữ liệu giúp đơn giản hóa và tăng tốc quá trình tích hợp dữ liệu với bộ tính năng doanh nghiệp phong phú. Nó thực hiện các thao tác tìm kiếm phức tạp và có thể truy vấn tài liệu, mối quan hệ và siêu dữ liệu.
2. Oracle:
Oracle Đây là cơ sở dữ liệu hàng đầu trong ngành. Nó cung cấp một loạt các giải pháp Kho dữ liệu cho cả triển khai tại chỗ và trên đám mây, giúp tối ưu hóa trải nghiệm khách hàng bằng cách cải thiện hiệu quả hoạt động.
3. Amazon Hiện tượng dịch chuyển đỏ:
Amazon Redshift là một dịch vụ Kho dữ liệu đơn giản và tiết kiệm chi phí để phân tích dữ liệu theo tiêu chuẩn thông thường. SQL và các công cụ BI hiện có. Nó chạy các truy vấn phức tạp trên hàng petabyte dữ liệu có cấu trúc bằng cách sử dụng các kỹ thuật tối ưu hóa truy vấn.
Đây là danh sách đầy đủ các thông tin hữu ích Công cụ kho dữ liệu.
