비즈니스 인텔리전스(BI) 테스트 케이스 활용
토마스 해밀턴
⚡ 스마트 요약
비즈니스 인텔리전스(BI) 테스트는 의사 결정의 기반이 되는 스테이징 데이터, ETL 프로세스 및 BI 보고서를 검증합니다. 이를 통해 데이터가 소스에서 대상으로 정확하게 이동하고 보고서에 표시되는 모든 수치가 신뢰할 수 있는지 확인합니다.
BI 테스트란 무엇입니까?
비즈니스 인텔리전스 (BI) 데이터 수집, 정제, 분석, 통합 및 공유를 통해 비즈니스 성장을 촉진하는 실행 가능한 인사이트를 도출하는 프로세스입니다. 비즈니스 인텔리전스(BI) 테스트는 스테이징 데이터, ETL 프로세스, BI 보고서를 검증하고 구현이 올바르게 이루어졌는지 확인합니다. BI 테스트는 데이터의 신뢰성과 BI 프로세스에서 도출된 인사이트의 정확성을 보장합니다.
여기에서 ETL/비즈니스 인텔리전스에 대해 자세히 알아볼 수 있습니다. 지도 시간
BI 테스트 프로세스
BI 테스트는 데이터 파이프라인 자체의 구조를 따릅니다. 각 단계는 다음 단계를 테스트하기 전에 반드시 통과해야 합니다. 왜냐하면 상류 단계의 결함이 하류 단계에서 잘못된 오류로 다시 나타날 수 있기 때문입니다.
- 요구 사항 분석: 보고서가 답변해야 하는 비즈니스 질문과 데이터가 저장된 소스 시스템을 명확히 정의하십시오. 이 부분이 모호하면 나중에 보고서를 검증할 수 없게 됩니다.
- 원본 데이터 유효성 검사: 원본 데이터의 프로파일링: 행 수, 데이터 유형, null 비율 및 중복 항목을 확인합니다. 측정하지 않은 원본 데이터에 대해서는 변환의 유효성을 검사할 수 없습니다.
- 스테이징 유효성 검사: 전 애인을 확인하세요trac필터 규칙을 적용한 후 조정 횟수가 소스와 일치하여 완전히 착륙했습니다.
- ETL 및 변환 테스트: 모든 지도를 확인하세요ping 파생 열, 집계 및 대체 키 생성 등을 포함한 비즈니스 규칙도 포함됩니다.
- 데이터웨어 하우스 그리고 큐브 테스트. 계층 구조의 모든 수준에서 차원 및 팩트 테이블의 무결성, 느리게 변화하는 차원(SCC) 처리, 집계 정확도를 확인합니다.
- 보고서 및 대시보드 테스트: 보고서 수치를 데이터 웨어하우스와 비교한 다음, 원본 데이터와 비교하고 필터, 드릴다운 및 보안 역할을 확인하십시오.
- 성능 및 회귀 테스트: 부하 창 지속 시간을 측정하고 응답 시간을 보고한 다음, 파이프라인 변경 후 매번 테스트 스위트를 다시 실행합니다.
화해는 전체 과정의 핵심입니다. 모든 단계에서 주요 지표의 개수와 합계를 확인해야 합니다. trac문제의 원인을 찾아낼 수 있어야 합니다. 겉보기에는 정확해 보이지만 검증할 수 없는 보고서는 테스트하지 않고 검사만 합니다.
BI 테스트 유형
이 튜토리얼의 시나리오는 여섯 가지 주요 범주로 분류됩니다. 이러한 범주에 이름을 붙이면 테스트 계획을 세울 때 점검하기 쉬운 부분뿐만 아니라 전체적인 상황을 포괄할 수 있습니다.
| 타입 | 그것이 검증하는 것 | 일반적인 기술 |
|---|---|---|
| 데이터 완전성 | 예상했던 모든 음반이 도착했습니다. | 원본과 대상 간의 행 수 조정 |
| 데이터 변환 | 비즈니스 규칙이 올바르게 적용되었습니다. | 변환된 출력값을 수동으로 계산한 예상값과 비교합니다. |
| 데이터 품질 | 값은 유효하고, 고유하며, 범위 내에 있습니다. | 널 값, 중복, 형식 및 참조 무결성 검사 |
| 메타데이터 테스트 | 데이터 유형, 길이 및 제약 조건이 사양과 일치합니다. | 소스와 대상 간의 스키마 비교 |
| 보고서 테스트 | 수치, 서식 및 상세 분석 기능이 모두 정확합니다. | 보고서 출력 결과를 데이터 웨어하우스 쿼리와 대조하여 확인하십시오. |
| 보안 테스트 | 사용자는 자신의 역할에 따라 허용된 데이터만 볼 수 있습니다. | 서로 다른 역할 자격 증명으로 동일한 보고서를 실행합니다. |
선택 BI 도구 각 유형이 실행되는 방식에는 영향을 미치지만, 어떤 유형이 필요한지는 결정하지 않습니다. 보안 테스트는 가장 자주 생략되는 테스트이며, 생략할 경우 가장 큰 손실을 초래합니다. 행 수준의 보안 결함은 눈에 보이는 오류 없이 여러 사업 부문에 걸쳐 데이터를 노출시키기 때문입니다.
BI 테스트 테스트 케이스 및 시나리오
아래 시나리오들은 거의 모든 BI 프로젝트에 적용됩니다. 검증 대상 파이프라인 단계별로 그룹화하고, 해당 순서대로 실행하세요. 스테이징 단계에서 결함이 발생하면 이후 모든 단계에서 오류가 발생하기 때문입니다.
ETL 검증 테스트 시나리오
- 데이터가 소스에서 대상 시스템으로 올바르게 매핑되었는지 확인
- 모든 테이블과 해당 필드가 소스에서 대상으로 복사되었는지 확인
- 자동 생성되도록 구성된 키가 대상 시스템에 올바르게 생성되었는지 확인
- null 필드가 채워지지 않았는지 확인
- 데이터가 왜곡되거나 잘리지 않았는지 확인하세요.
- 대상 시스템의 데이터 유형 및 형식이 예상한 대로인지 확인
- 대상 시스템에 데이터 중복이 없는지 확인하십시오.
- 변환이 올바르게 적용되었는지 확인
- 숫자 필드의 데이터 정밀도가 정확한지 확인
- 예외 처리가 견고한지 확인
스테이징 데이터 테스트 시나리오
- 조정 확인 - 필터 규칙 적용 후 STG(스테이징) 테이블과 대상 테이블 간의 레코드 수가 동일합니다.
- 특정 키 조합에 대해 대상 테이블에 로드되지 않은 레코드를 삽입합니다.
- 대상 테이블에 이미 존재하는 레코드를 다시 전송하고 중복 로드되지 않는지 확인합니다.
- day_02 로드 시 값 열이 변경되면 키에 대한 레코드 업데이트
- 대상 테이블의 레코드를 논리적으로 삭제합니다.
- 프로세스 테이블에 의해 로드된 값
- 참조 테이블에 의해 로드된 값
데이터 로딩 테스트 시나리오
- Target과 Source 데이터베이스가 잘 연결되어 있는지, 접속 문제는 없는지 확인하세요.
- 전체 로드의 경우 자르기 옵션을 확인하고 제대로 작동하는지 확인하세요.
- 데이터를 로드하는 동안 세션 성능을 확인합니다.
- 치명적이지 않은 오류가 있는지 확인하세요.
- 하위 작업이 실패하면 호출하는 상위 작업이 실패할 수 있는지 확인합니다.
- 로그가 업데이트되었는지 확인
- 지도를 확인하세요ping 워크플로우 매개변수가 정확하게 구성되었습니다.
- 소스 및 대상 시스템의 테이블 수가 동일한지 확인하십시오.
- 단계 테이블의 속성을 대상 테이블의 속성과 비교합니다. 일치해야 합니다.
BI 보고서 테스트 시나리오
- 날짜 및 시간 표시
- 주요 수치의 소수점 정밀도
- 특정 페이지에서 행과 열의 수를 표시합니다.
- 보고서의 자유 특성
- 특성값과 주요 지표 모두에서 공백값이 표시되는 방식
- 명시된 대로 특성 검색이 키, 텍스트 또는 둘 다를 대상으로 작동하는지 여부
- 텍스트 검색이 대소문자를 구분하는지 여부와 그것이 요구 사항과 일치하는지 여부
BI 테스트의 과제
- 데이터 볼륨. 데이터 웨어하우스에는 수억 개의 행이 저장되어 있으므로 완벽한 비교는 불가능합니다. 테스트는 조정 합계와 경계 레코드 및 고위험 레코드에 대한 표적 샘플링에 의존합니다.
- 이질적인 출처. 하나의 데이터 웨어하우스는 관계형 데이터베이스, 플랫 파일, API 및 레거시 시스템에서 데이터를 가져올 수 있으며, 각 시스템은 고유한 인코딩, 날짜 형식 및 null 처리 규칙을 가지고 있습니다.
- 눈에 띄는 고장은 없습니다. 보고서의 잘못된 수치는 오류를 발생시키지 않습니다. 단지 잘못된 결정을 내리도록 유도할 뿐이며, 따라서 대조 작업만이 유일하게 신뢰할 수 있는 오류 탐지 방법입니다.
- 출처가 끊임없이 바뀝니다. 상위 시스템의 스키마 변경으로 인해 맵이 조용히 깨지는 경우가 있습니다.ping메타데이터 테스트는 릴리스 시점뿐만 아니라 정해진 일정에 따라 실행되어야 합니다.
- 천천히 변화하는 차원. 역사적 정확성을 위해서는 작년에 유효했던 기록이 여전히 작년 값을 나타내고 있어야 하는데, 이는 검증하기 어렵고 오류가 발생하기 쉽습니다.
- 환경 평등. 테스트 환경에는 실제 운영 환경 규모의 데이터가 거의 없기 때문에 로드 시간 및 쿼리 성능 문제는 실제 운영 환경 구축 후에야 드러납니다.
공통적인 특징은 BI 결함이 조용히 드러난다는 것입니다. 위에 언급된 모든 완화 방법은 시스템 자체에서 아무런 신호를 생성하지 않을 때 신호를 만들어내는 방식으로 작동합니다.
