Kiểm thử Business Intelligence (BI) với các trường hợp kiểm thử
Thomas Hamilton
⚡ Tóm tắt thông minh
Kiểm thử Business Intelligence (BI) xác minh dữ liệu tạm thời, quy trình ETL và các báo cáo BI mà các quyết định được đưa ra dựa trên đó. Nó xác nhận rằng dữ liệu được chuyển chính xác từ nguồn đến đích và mọi số liệu mà báo cáo hiển thị đều đáng tin cậy.
Thử nghiệm BI là gì?
Kinh doanh thông minh (BI) Business Intelligence (BI) là quá trình thu thập, làm sạch, phân tích, tích hợp và chia sẻ dữ liệu để rút ra những thông tin chi tiết hữu ích thúc đẩy tăng trưởng kinh doanh. Kiểm thử BI xác minh dữ liệu chuẩn bị, quy trình ETL, báo cáo BI và đảm bảo việc triển khai là chính xác. Kiểm thử BI đảm bảo tính xác thực của dữ liệu và độ chính xác của những thông tin chi tiết thu được từ quy trình BI.
Bạn có thể tìm hiểu thêm về ETL/Business Intelligence trong phần này hướng dẫn
Quy trình kiểm thử BI
Việc kiểm thử BI tuân theo cấu trúc của chính đường dẫn dữ liệu. Mỗi giai đoạn phải vượt qua kiểm thử trước khi giai đoạn tiếp theo đáng được kiểm thử, bởi vì lỗi ở giai đoạn trước có thể xuất hiện lại dưới dạng lỗi sai ở giai đoạn sau.
- Phân tích yêu cầu: Xác định rõ những câu hỏi kinh doanh nào mà báo cáo cần trả lời và hệ thống nguồn nào lưu trữ dữ liệu. Sự mơ hồ ở đây sẽ dẫn đến một báo cáo không thể kiểm chứng được sau này.
- Xác thực dữ liệu nguồn: Phân tích nguồn dữ liệu: số lượng hàng, kiểu dữ liệu, tỷ lệ giá trị null và dữ liệu trùng lặp. Bạn không thể xác thực một phép biến đổi dựa trên nguồn dữ liệu mà bạn chưa đo lường.
- Xác thực giai đoạn: Xác nhận lạitracQuá trình này đã hoàn tất, với số liệu đối chiếu khớp với nguồn sau khi áp dụng các quy tắc lọc.
- Kiểm thử ETL và chuyển đổi dữ liệu: Kiểm tra lại mọi bản đồping và các quy tắc nghiệp vụ, bao gồm các cột dẫn xuất, tổng hợp và tạo khóa thay thế.
- Kho dữ liệu và thử nghiệm khối lập phương. Kiểm tra tính toàn vẹn của bảng chiều và bảng dữ liệu thực tế, xử lý các chiều thay đổi chậm và độ chính xác của phép tổng hợp ở mọi cấp độ của hệ thống phân cấp.
- Kiểm thử báo cáo và bảng điều khiển: So sánh số liệu trong báo cáo với dữ liệu trong kho, sau đó so sánh với nguồn dữ liệu gốc, đồng thời kiểm tra các bộ lọc, chức năng xem chi tiết và vai trò bảo mật.
- Kiểm thử hiệu năng và kiểm thử hồi quy: Đo thời lượng cửa sổ tải và báo cáo thời gian phản hồi, sau đó chạy lại bộ kiểm thử sau mỗi lần thay đổi đường dẫn xử lý dữ liệu.
Hòa giải là xương sống của toàn bộ quá trình: Ở mọi giai đoạn, số lượng và tổng các chỉ số quan trọng phải được đảm bảo. tracCó thể truy ngược lại nguồn gốc. Một báo cáo trông có vẻ chính xác nhưng không thể đối chiếu được thì không được kiểm tra, mà chỉ được xem xét.
Các loại kiểm thử BI
Các tình huống trong hướng dẫn này được chia thành sáu loại đã được công nhận. Việc đặt tên cho chúng giúp kế hoạch kiểm thử bao quát toàn bộ phạm vi chứ không chỉ những phần dễ kiểm tra.
| Kiểu | Điều nó xác nhận | Kỹ thuật điển hình |
|---|---|---|
| Tính đầy đủ của dữ liệu | Mọi kỷ lục dự kiến đều đã được thiết lập. | Đối chiếu số lượng hàng giữa nguồn và đích |
| Chuyển đổi dữ liệu | Các quy tắc kinh doanh được áp dụng chính xác | So sánh kết quả đã chuyển đổi với các giá trị dự kiến được tính toán thủ công. |
| Chất lượng dữ liệu | Các giá trị hợp lệ, duy nhất và nằm trong phạm vi cho phép. | Kiểm tra giá trị null, trùng lặp, định dạng và tính toàn vẹn tham chiếu |
| Kiểm tra siêu dữ liệu | Các kiểu dữ liệu, độ dài và ràng buộc phù hợp với đặc tả kỹ thuật. | So sánh lược đồ giữa nguồn và đích |
| Báo cáo thử nghiệm | Số liệu, định dạng và chức năng xem chi tiết đều chính xác. | Kiểm tra chéo kết quả báo cáo so với truy vấn kho hàng. |
| Kiểm tra bảo mật | Người dùng chỉ xem được dữ liệu mà vai trò của họ cho phép. | Chạy các báo cáo giống hệt nhau với thông tin đăng nhập khác nhau |
Sự lựa chọn của công cụ BI Nó ảnh hưởng đến cách thức thực thi từng loại dữ liệu, nhưng không quyết định loại dữ liệu nào là cần thiết. Kiểm thử bảo mật là loại kiểm thử thường bị bỏ qua nhất và gây thiệt hại lớn nhất, bởi vì một lỗi bảo mật ở cấp độ hàng dữ liệu có thể làm lộ dữ liệu trên nhiều đơn vị kinh doanh mà không tạo ra bất kỳ lỗi nào có thể nhìn thấy được.
Các trường hợp và kịch bản kiểm thử BI
Các tình huống dưới đây áp dụng cho hầu hết mọi dự án BI. Hãy nhóm chúng theo giai đoạn của quy trình mà chúng kiểm định và chạy theo thứ tự đó, vì lỗi ở giai đoạn kiểm thử sẽ dẫn đến lỗi ở mọi giai đoạn sau.
các kịch bản kiểm thử xác minh ETL
- Xác minh dữ liệu được ánh xạ chính xác từ hệ thống nguồn đến hệ thống đích
- Xác minh tất cả các bảng và các trường của chúng được sao chép từ nguồn sang đích
- Xác minh các khóa được định cấu hình để tạo tự động được tạo đúng cách trong hệ thống đích
- Xác minh rằng các trường null không được điền
- Xác minh dữ liệu không bị cắt xén hoặc bị cắt bớt
- Xác minh kiểu dữ liệu và định dạng trong hệ thống đích như mong đợi
- Xác minh không có sự trùng lặp dữ liệu trong hệ thống đích
- Xác minh các phép biến đổi được áp dụng chính xác
- Xác minh rằng độ chính xác của dữ liệu trong các trường số là chính xác
- Xác minh xử lý ngoại lệ là mạnh mẽ
Các kịch bản kiểm thử dữ liệu dàn dựng
- Số lượng bản ghi kiểm tra đối chiếu giữa bảng STG (phân tầng) và bảng mục tiêu giống nhau sau khi áp dụng quy tắc lọc
- Chèn một bản ghi chưa được tải vào bảng mục tiêu cho tổ hợp phím đã cho
- Gửi lại các bản ghi đã có trong bảng đích và xác nhận rằng chúng không được tải hai lần.
- Cập nhật bản ghi cho khóa khi các cột giá trị thay đổi vào ngày tải day_02
- Xóa các bản ghi một cách hợp lý trong các bảng mục tiêu
- Các giá trị được tải bởi các bảng quy trình
- Các giá trị được tải bởi bảng tham chiếu
Các kịch bản kiểm thử tải dữ liệu
- Kiểm tra xem cơ sở dữ liệu đích và nguồn có được kết nối tốt và không có vấn đề truy cập nào.
- Để tải đầy, hãy kiểm tra tùy chọn cắt ngắn và đảm bảo nó hoạt động tốt.
- Trong khi tải dữ liệu, hãy kiểm tra hiệu suất của phiên
- Kiểm tra các lỗi không nghiêm trọng.
- Xác minh rằng bạn có thể thất bại trong việc gọi tác vụ gốc nếu tác vụ con không thành công.
- Xác minh rằng nhật ký đã được cập nhật
- Xác minh bản đồping và quy trình làm việc các thông số được cấu hình chính xác
- Xác minh số lượng bảng trong hệ thống nguồn và đích là như nhau
- So sánh các thuộc tính từ các bảng giai đoạn với các thuộc tính của bảng mục tiêu. Họ nên được kết hợp.
các kịch bản kiểm thử báo cáo BI
- Hiển thị ngày và giờ
- Độ chính xác thập phân cho các số liệu quan trọng
- Trong một trang nhất định hiển thị số hàng và cột
- Đặc điểm miễn phí trong báo cáo
- Cách hiển thị các giá trị trống cho cả đặc điểm và chỉ số chính
- Liệu chức năng tìm kiếm đặc trưng có hoạt động trên từ khóa, trên văn bản, hay cả hai, như đã được chỉ định.
- Liệu tìm kiếm văn bản có phân biệt chữ hoa chữ thường hay không, và liệu điều đó có đáp ứng yêu cầu hay không.
Những thách thức trong kiểm thử BI
- Khối lượng dữ liệu. Các kho dữ liệu chứa hàng trăm triệu dòng dữ liệu, do đó việc so sánh toàn diện là không thể. Việc kiểm thử dựa trên tổng số liệu đối chiếu cộng với việc lấy mẫu có mục tiêu các bản ghi nằm ở ranh giới và có rủi ro cao.
- Nguồn không đồng nhất. Một kho dữ liệu duy nhất có thể lấy dữ liệu từ cơ sở dữ liệu quan hệ, tập tin phẳng, API và các hệ thống cũ, mỗi hệ thống lại có cách mã hóa, định dạng ngày tháng và quy ước giá trị null riêng.
- Không có lỗi nào nhìn thấy được. Sai sót trong số liệu của báo cáo không nhất thiết là một lỗi. Nó chỉ đơn giản cho thấy một quyết định sai lầm, do đó việc đối chiếu số liệu là phương pháp phát hiện đáng tin cậy duy nhất.
- Nguồn thông tin liên tục thay đổi. Việc thay đổi lược đồ trong hệ thống thượng nguồn mà không báo trước sẽ làm hỏng bản đồ.pingViệc kiểm thử siêu dữ liệu cần được thực hiện theo lịch trình, không chỉ vào thời điểm phát hành.
- Thay đổi kích thước dần dần. Tính chính xác về mặt lịch sử đòi hỏi một bản ghi có giá trị từ năm ngoái vẫn phản ánh giá trị của năm ngoái, điều này rất khó kiểm chứng và dễ dẫn đến sai sót.
- Bình đẳng về môi trường. Môi trường thử nghiệm hiếm khi chứa dữ liệu ở quy mô sản xuất, do đó các vấn đề về cửa sổ tải và hiệu suất truy vấn chỉ xuất hiện sau khi hệ thống đi vào hoạt động chính thức.
Điểm chung là các lỗi BI thường diễn ra âm thầm. Mọi biện pháp khắc phục nêu trên đều hoạt động bằng cách tạo ra tín hiệu trong khi chính hệ thống không tạo ra tín hiệu nào.
