ETL 테스트 튜토리얼
데이비드 카터
⚡ 스마트 요약
ETL 테스트는 소스 시스템에서 변환 로직을 거쳐 대상 데이터 웨어하우스로 데이터가 흐르는 방식을 검증하여 정확성, 완전성 및 신뢰성을 확인합니다. 이 자료에서는 초급 및 중급 테스터에게 필요한 프로세스 단계, 테스트 유형, 일반적인 버그 유형, 자동화 접근 방식 및 실질적인 모범 사례를 설명합니다.
ETL이란 무엇입니까?
ETL 용 스탠드 Extract-변환-적재그리고 이는 데이터가 소스 시스템에서 데이터 웨어하우스로 이동하는 방식을 설명합니다. 데이터는 다음과 같습니다.tracOLTP 데이터베이스에서 가져온 데이터를 데이터 웨어하우스 스키마에 맞게 변환한 후 웨어하우스 데이터베이스에 로드합니다. 많은 웨어하우스는 텍스트 파일, 레거시 애플리케이션, 스프레드시트와 같은 비 OLTP 시스템의 데이터도 통합합니다.
예를 들어, 소매점에는 판매, 마케팅, 물류와 같은 여러 부서가 있을 수 있습니다. 각 부서는 고객 정보를 독립적으로 관리하며, 데이터를 저장하는 방식도 서로 다릅니다. 판매 부서는 고객 이름을 기준으로 기록을 저장하는 반면, 마케팅 부서는 고객 ID를 사용할 수 있습니다.
비즈니스 팀이 다양한 마케팅 캠페인에 걸쳐 고객의 전체 구매 내역을 검토하려면, 서로 연결되지 않은 데이터 때문에 매우 번거로운 작업이 됩니다. 해결책은 다음과 같습니다. 데이터웨어 하우스 ETL(추출, 변환, 로딩)을 사용하여 서로 다른 소스의 정보를 균일한 구조로 저장할 수 있습니다. ETL은 서로 다른 데이터 세트를 통합된 구조로 변환하여 BI 도구가 의미 있는 인사이트와 보고서를 도출할 수 있도록 합니다.
다음 다이어그램은 ETL 테스트 프로세스 흐름과 이 가이드 전체에서 사용될 핵심 개념을 보여줍니다.
1) 예tract
- Extrac하나 이상의 소스 시스템에서 관련 데이터를 가져옵니다.
2) 변형
- 데이터를 DW(데이터 웨어하우스) 형식으로 변환합니다.
- 키 생성: 키는 엔티티를 고유하게 식별하는 하나 이상의 데이터 속성입니다. 다양한 키 유형 기본 키, 대체 키, 외래 키, 복합 키 및 대리 키가 있습니다. 데이터 웨어하우스는 이러한 키를 소유하며 다른 어떤 엔티티도 이러한 키를 할당할 수 없습니다.
- 데이터 정제: 데이터가 추출된 후trac테드, 다음 단계인 클리닝 및 컨폼 단계로 넘어갑니다. 클리닝은 누락된 데이터를 수정하고 오류를 식별합니다. 컨폼은 호환되지 않는 데이터 세트 간의 충돌을 해결하여 엔터프라이즈 데이터 웨어하우스에서 사용할 수 있도록 합니다. 또한 시스템은 소스 시스템 문제를 진단하고 데이터 품질을 개선하는 데 도움이 되는 메타데이터를 생성합니다.
3) 로드
- 데이터를 데이터 웨어하우스(DW)에 로드합니다.
- 집계 생성: 집계는 여러 소스의 데이터를 요약하고 저장합니다. 사실 테이블 최종 사용자 쿼리의 성능을 향상시키기 위해.
ETL 테스트란 무엇입니까?
ETL 테스트는 비즈니스 변환 후 소스에서 대상으로 로드된 데이터가 정확한지 확인하기 위해 수행됩니다. 또한 소스와 대상 사이의 다양한 중간 단계에서 데이터 검증을 포함합니다. ETL은 Ex(Exit, Execution, Execution, Execution)의 약자입니다.tract-Transform-Load(ETL) 테스트는 이 세 단계 각각과 데이터가 단계 간에 교차하는 지점을 모두 다룹니다.
ETL 테스트가 중요한 이유는 무엇일까요?
ETL 테스트가 무엇인지 이해했다면, 다음 질문은 왜 기업들이 ETL 테스트에 그토록 많은 노력을 투자하는가일 것입니다. 기업의 의사 결정은 정확하고 완전하며 신뢰할 수 있는 데이터에 기반하기 때문에, 단 하나의 변환 오류라도 재무 보고서, 고객 분석, 규제 관련 공시 자료에까지 파급 효과를 미칠 수 있습니다.
다음은 강력한 ETL 테스트의 실질적인 가치를 설명하는 몇 가지 사항입니다.
- 데이터 정확도 : 이는 비즈니스 규칙에 의해 변환된 값이 문서화된 맵과 일치함을 확인시켜 줍니다.ping 구체적인 규정을 통해 은밀한 부패를 방지합니다.
- 신뢰할 수 있는 보도: 대시보드와 BI 도구는 데이터 웨어하우스에 의존하므로, 검증된 ETL 파이프라인은 모든 하위 보고서와 KPI를 보호합니다.
- 규정 준수 : 은행, 의료, 보험과 같은 산업 분야에서는 데이터의 계보와 무결성이 처음부터 끝까지 유지됨을 입증해야 합니다.
- 재작업 감소: 낮은 수준의 환경에서 결함을 발견하면 비용이 많이 드는 생산 재로드, 수동 조정 및 고객에게 발생하는 오류를 방지할 수 있습니다.
- 성능 보증: ETL 테스트는 데이터 용량이 증가함에 따라 데이터 웨어하우스가 지속적으로 확장될 수 있도록 로드 시간, 처리량 및 병목 현상을 측정합니다.
이러한 동기가 명확해졌으므로 다음 섹션에서는 ETL 테스터가 실제 프로젝트에서 따르는 구조화된 프로세스를 자세히 살펴보겠습니다.
ETL 테스트 프로세스
다른 테스트 프로세스와 마찬가지로 ETL 테스트도 여러 단계를 거칩니다. ETL 테스트 프로세스의 단계는 다음과 같습니다.
ETL 테스트는 다음 다섯 단계로 진행됩니다.
- 데이터 소스 및 요구 사항 식별
- 데이터 수집
- 비즈니스 로직 및 차원 모델링을 구현합니다.
- 데이터 구축 및 채우기
- 보고서 작성
이러한 상위 수준 프로세스를 염두에 두고, 이 라이프사이클에 포함되는 구체적인 테스트 유형을 살펴보겠습니다.
ETL 테스트 유형
- 생산 검증 테스트
측정 과정: "테이블 밸런싱" 또는 "프로덕션 조정"이라고도 하는 이 유형의 ETL 테스트는 데이터가 프로덕션 시스템으로 이동할 때 수행됩니다. 비즈니스 의사 결정을 지원하기 위해서는 프로덕션 데이터가 올바른 순서로 되어 있어야 합니다. 정보학 데이터 유효성 검사 옵션은 ETL 테스트 자동화 및 관리 기능을 제공하여 프로덕션 시스템이 잘못된 데이터로 인해 손상되는 것을 방지합니다. - 소스 대상 Target 테스트(검증 테스트)
측정 과정: 이러한 유형의 테스트는 변환된 데이터 값이 예상 목표 값과 일치하는지 여부를 검증합니다. - 어플리케이션 Upgrades
측정 과정: 이러한 유형의 ETL 테스트는 자동으로 생성되므로 테스트 개발 시간을 크게 절약할 수 있습니다. 이 테스트는 데이터가 제대로 생성되었는지 확인합니다.trac이전 애플리케이션이나 저장소의 데이터가 새 애플리케이션이나 저장소의 데이터와 일치합니다. - 메타데이터 테스트
측정 과정: 메타데이터 테스트에는 데이터 유형 검사, 데이터 길이 검사, 인덱스 또는 제약 조건 검사가 포함됩니다. - 데이터 완전성 테스트
측정 과정: 데이터 완전성 테스트는 예상되는 모든 데이터가 소스에서 대상으로 로드되었는지 확인합니다. 일반적인 테스트에는 변환이 간단하거나 없는 경우 소스와 대상 열 간의 레코드 수, 집계 및 실제 데이터를 비교하고 유효성을 검사하는 작업이 포함됩니다. - 데이터 정확성 테스트
측정 과정: 이 테스트는 데이터가 예상대로 정확하게 로드되고 변환되었는지 확인합니다. - 데이터 변환 테스트
측정 과정: 데이터 변환 테스트는 단일 소스만으로는 종종 수행할 수 없습니다. SQL 쿼리 실행 후 출력 결과를 비교합니다. 변환 규칙을 검증하기 위해 각 행마다 여러 개의 SQL 쿼리가 필요할 수 있습니다. - 데이터 품질 테스트
측정 과정:데이터 품질 테스트에는 구문 테스트와 참조 테스트가 포함됩니다. 이러한 테스트는 잘못된 날짜나 주문 번호로 인해 발생하는 비즈니스 프로세스 오류를 방지합니다.
구문 테스트는 유효하지 않은 문자, 문자 패턴, 그리고 대소문자 순서 오류를 기준으로 불완전한 데이터를 보고합니다.
참조 테스트는 데이터 모델과 데이터의 정확성을 검증합니다. 예를 들어, 고객 ID가 있습니다.
데이터 품질 테스트에는 숫자 검사, 날짜 검사, 정밀도 검사, 데이터 검사 및 null 값 검사도 포함됩니다.
- 점진적 ETL 테스트
측정 과정: 이 테스트는 새 데이터가 추가될 때 기존 데이터와 새 데이터의 데이터 무결성을 확인합니다. 증분 테스트는 증분 ETL 프로세스 중에 삽입 및 업데이트가 예상대로 처리되는지 검증합니다. - GUI/내비게이션 테스트
측정 과정: 이 테스트는 프런트엔드 보고서의 탐색 및 GUI 측면을 확인합니다.
ETL 테스트 케이스를 만드는 방법
ETL 테스트는 정보 관리 산업의 다양한 도구와 데이터베이스에 적용될 수 있는 개념입니다. ETL 테스트의 목적은 비즈니스 변환 후 소스에서 대상으로 로드된 데이터가 정확한지 확인하는 것입니다. 또한 이는 출발지에서 목적지까지 이어지는 여러 중간 단계에서 데이터 검증을 포함합니다.
ETL 테스트를 수행하는 동안 ETL 테스터는 항상 두 가지 문서를 사용합니다.
- ETL 맵ping 시트: ETL 맵ping 스프레드시트에는 소스 및 대상 테이블의 모든 정보(각 열과 참조 테이블에서의 조회 위치 포함)가 담겨 있습니다. ETL 테스터는 SQL 쿼리에 능숙해야 하는데, ETL 테스트는 모든 단계에서 데이터 유효성 검사를 위해 여러 조인을 사용하는 복잡한 쿼리를 작성해야 할 수 있기 때문입니다. ETL 맵ping 스프레드시트는 데이터 검증을 위한 쿼리를 작성하는 데 상당한 도움을 줍니다.
- 소스 및 대상의 DB 스키마: 지도의 세부 사항을 확인하기 위해 항상 가까이에 두어야 합니다.ping 시트.
ETL 테스트 시나리오 및 테스트 사례
- 지도ping 문서 유효성 검사
테스트 사례 : 지도에 해당 ETL 정보가 제공되는지 확인하십시오.ping 모든 맵에는 변경 로그가 유지되어야 합니다.ping 의사. - 검증
테스트 사례 :1) 소스 테이블과 대상 테이블의 구조가 해당 맵과 일치하는지 확인합니다.ping 의사.
2) 원본 데이터 유형과 대상 데이터 유형은 동일해야 합니다.
3) 원본과 대상의 데이터 형식 길이는 동일해야 합니다.
4) 데이터 필드 유형과 형식이 지정되었는지 확인합니다.
5) 소스 데이터 형식의 길이는 대상 데이터 형식의 길이보다 짧아서는 안 됩니다.
6) 테이블의 열 이름이 맵과 일치하는지 확인합니다.ping 의사. - 제약조건 검증
테스트 사례 : 특정 테이블에 대해 예상대로 제약 조건이 정의되었는지 확인하십시오. - 데이터 일관성 문제
테스트 사례 :1) 특정 속성의 데이터 유형과 길이는 의미론적 정의가 동일하더라도 파일이나 테이블에 따라 다를 수 있습니다.
2) 무결성 제약 조건의 오용. - 완전성 문제
테스트 사례 :1) 예상되는 모든 데이터가 대상 테이블에 로드되었는지 확인하십시오.
2) 소스와 타겟 간의 레코드 수를 비교합니다.
3) 거부된 기록이 있는지 확인하십시오.
4) 대상 테이블의 열에서 데이터가 잘리지 않았는지 확인합니다.
5) 경계값 분석을 확인합니다.
6) 데이터 웨어하우스에 로드된 데이터와 원본 데이터 간의 주요 필드 고유값을 비교합니다. - 정확성 문제
테스트 사례 :1) 철자가 틀렸거나 부정확하게 기록된 데이터.
2) 값이 없거나, 고유하지 않거나, 범위를 벗어난 데이터. - 변환
테스트 사례 : 맵에 있는 모든 비즈니스 규칙과 변환 로직을 검증합니다.ping 문서가 대상 데이터에 저장되기 전에 원본 데이터에 올바르게 적용됩니다. - 데이터 품질
테스트 사례 :1) 숫자 검사: 숫자 형식과 값을 검증합니다.
2) 날짜 확인: 날짜는 단일 형식을 따라야 하며 모든 기록에서 일관성을 유지해야 합니다.
3) 정밀도 검사.
4) 데이터 확인.
5) 널 검사. - Null 검증
테스트 사례 : 특정 열에 대해 "Null 아님"으로 지정된 경우 null 값을 확인합니다. - 중복 확인
테스트 사례 :1) 고유 키, 기본 키 및 비즈니스 요구 사항에 따라 고유해야 하는 기타 모든 열을 검증하여 중복 행이 없는지 확인합니다.
2) 어떤 열에든 중복된 값이 있는지 확인합니다. (예: ...)trac여러 소스 열에서 가져와 하나의 열로 결합했습니다.
3) 고객 요구사항에 따라 대상 데이터 내 여러 열의 조합에 중복된 항목이 없는지 확인하십시오. - 날짜 검증
테스트 사례 : 날짜 값은 ETL 개발의 여러 영역에서 사용됩니다.1) 행 생성 날짜를 확인하기 위해.
2) ETL 개발 관점에서 활성 레코드를 식별합니다.
3) 비즈니스 요구사항 관점에서 활성 레코드를 식별합니다.
4) 때때로 날짜 값을 기준으로 업데이트 및 삽입이 생성됩니다. - 완전한 데이터 검증
테스트 사례 :1) 소스 테이블과 대상 테이블의 전체 데이터 세트를 마이너스 쿼리를 사용하여 검증하는 것이 가장 좋은 해결책입니다.
2) 소스에서 타겟을 빼고, 타겟에서 소스를 빼야 합니다.
3) 마이너스 쿼리가 값을 반환하는 경우 해당 행은 일치하지 않는 것으로 간주해야 합니다.
4) 교집합 문을 사용하여 소스와 대상 간의 행을 일치시킵니다.
5) intersect 함수가 반환하는 개수는 소스 테이블과 대상 테이블의 개별 개수와 일치해야 합니다.
6) 마이너스 쿼리가 행을 반환하고 교집합 개수가 원본 또는 대상 개수보다 작으면 중복 행이 존재합니다. - 데이터 청결성
테스트 사례 : 불필요한 열은 준비 영역에 로드하기 전에 삭제해야 합니다.
ETL 버그 유형
아무리 철저한 테스트 케이스를 사용하더라도 ETL 파이프라인은 다양한 방식으로 오류를 일으킬 수 있습니다. 아래 이미지는 주의해야 할 버그 유형을 요약한 것이며, 이어지는 표는 각 유형에 대한 설명을 제공합니다.
| 버그 유형 | 기술설명 |
|---|---|
| 사용자 인터페이스 버그/외관 버그 |
• 애플리케이션의 GUI와 관련됨 • 글꼴 스타일, 글꼴 크기, 색상, 정렬, 맞춤법 오류, 탐색 기능 등 |
| BVA(경계값 분석) 관련 버그 | • 최소값 및 최대값 |
| ECP(동등 클래스 파티셔닝) 관련 버그 | • 유효한 유형과 유효하지 않은 유형 |
| 입출력 버그 |
• 유효한 값이 허용되지 않습니다. • 잘못된 값이 허용됩니다. |
| 계산 버그 |
• 수학적 오류 • 최종 출력이 잘못되었습니다. |
| 로드 조건 버그 |
• 여러 사용자가 동시에 접속할 수 없습니다. • 고객이 예상하는 부하를 허용하지 않습니다. |
| 경쟁 조건 버그 |
• 시스템 충돌 및 멈춤 현상 • 시스템은 클라이언트 플랫폼을 실행할 수 없습니다. |
| 버전 관리 버그 |
• 로고 매칭 없음 • 버전 정보가 없습니다. • 일반적으로 다음과 같은 경우에 발생합니다. Regression Testing |
| 하드웨어 버그 | • 장치가 애플리케이션에 응답하지 않습니다. |
| 도움말 소스 버그 | • 도움말 문서의 실수 |
데이터 웨어하우스 테스트
데이터 웨어하우스 테스트 데이터 웨어하우스 테스트는 데이터 웨어하우스 내 데이터의 무결성, 신뢰성, 정확성 및 일관성을 검증하여 회사의 데이터 프레임워크를 준수하는지 확인하는 테스트 방법입니다. 데이터 웨어하우스 테스트의 주요 목적은 웨어하우스에 통합된 데이터가 회사의 의사 결정에 충분히 신뢰할 수 있도록 보장하는 것입니다. ETL 테스트가 데이터 이동에 초점을 맞추는 반면, 데이터 웨어하우스 테스트는 ETL이 최종적으로 제공하는 더 넓은 저장 및 보고 계층을 포괄합니다.
데이터베이스 테스트와 ETL 테스트의 차이점
두 분야 모두 정형화된 데이터를 다루지만, 서로 다른 질문에 답합니다. 아래 표는 이러한 실질적인 차이점을 보여줍니다.
| ETL 테스트 | 데이터베이스 테스트 |
|---|---|
| 데이터가 예상대로 이동되었는지 확인합니다. | 주요 목표는 데이터가 데이터 모델에 정의된 규칙과 표준을 준수하는지 확인하는 것입니다. |
| 원본과 대상의 개수가 일치하는지, 그리고 변환된 데이터가 예상대로인지 확인합니다. | 고아 레코드가 없고 외래 키-기본 키 관계가 유지되는지 확인합니다. |
| ETL 과정에서 외래 기본 키 관계가 유지되는지 확인합니다. | 중복 테이블이 없는지, 데이터베이스가 최적으로 정규화되었는지 확인합니다. |
| 로드된 데이터의 중복 여부를 확인합니다. | 필수 입력 항목에 데이터가 누락되었는지 확인합니다. |
ETL의 성능 테스트
ETL의 성능 테스트 ETL은 여러 사용자와 트랜잭션의 부하를 처리할 수 있는지 확인하는 테스트 기법입니다. ETL의 주요 목표는 다음과 같습니다. 성능 시험 세션 성능을 최적화하고 개선하기 위해 성능 병목 현상을 식별하고 제거하는 것이 목표입니다. 소스 및 대상 데이터베이스는 매핑됩니다.pings, 세션, 그리고 시스템 자체 모두 병목 현상을 일으킬 수 있습니다.
성능 테스트 및 튜닝에 사용되는 최고의 도구 중 하나는 Informatica입니다.
ETL 테스터의 책임
ETL 테스터의 주요 책임은 세 가지 범주로 나뉩니다.
- 스테이지 테이블 / SFS 또는 MFS
- 비즈니스 혁신 로직 적용
- Target 변환을 적용한 후 스테이지 파일 또는 테이블에서 테이블을 로드합니다.
ETL 테스터의 일상적인 업무는 다음과 같습니다.
- ETL 소프트웨어 테스트
- ETL 데이터 웨어하우스의 테스트 구성 요소
- 백엔드 데이터 기반 테스트 실행
- 창조, 설계 및 실행 테스트 케이스테스트 계획 및 테스트 하네스
- 잠재적 문제점을 파악하고 해결책을 제시합니다.
- 요구사항 및 설계 사양 승인
- 데이터 전송 유효성 검사 및 플랫 파일 테스트
- 카운트 테스트와 같은 다양한 시나리오에 대한 SQL 쿼리를 작성하세요.
ETL 테스트 자동화
ETL 테스트의 일반적인 방법론은 SQL 스크립팅이나 육안 검사를 통해 데이터를 확인하는 것입니다. 이러한 접근 방식은 시간이 많이 소요되고 오류 발생 가능성이 높으며, 완전한 결과를 제공하는 경우는 드뭅니다. 테스트 범위실행 속도를 높이고, 적용 범위를 확대하고, 비용을 절감하고, 개선하기 위해 결함 운영 및 개발 환경에서의 탐지 자동화는 시대적 요구입니다. 그러한 도구 중 하나가 Informatica입니다.
최신 팀은 전통적인 자동화에 AI 기반 도우미를 결합하여 변환 테스트를 제안하고, 합성 소스 데이터를 생성하고, 스키마 변경 사항을 표시함으로써 테스터가 반복적인 스크립트 유지 관리보다는 복잡한 비즈니스 로직에 집중할 수 있도록 합니다.
ETL 테스트를 위한 최고의 사례
- 데이터 변환이 올바르게 이루어졌는지 확인하십시오.
- 데이터 손실이나 잘림 없이, 예측된 데이터가 데이터 웨어하우스에 로드되어야 합니다.
- ETL 애플리케이션이 유효하지 않은 데이터를 적절하게 거부하고, 가능한 경우 기본값으로 대체하며, 이를 보고하는지 확인하십시오.
- 데이터가 정해진 예상 시간 내에 데이터 웨어하우스에 로드되는지 확인하여 확장성과 성능을 검증하십시오.
- 모든 메서드는 가시성 여부와 관계없이 적절한 단위 테스트를 갖추어야 합니다.
- 단위 테스트의 효과를 측정하기 위해서는 모든 단위 테스트에 적절한 커버리지 기법을 사용해야 합니다.
- 테스트 케이스당 하나의 어설션을 작성하도록 노력하십시오.
- 만들기 단위 테스트 예외를 대상으로 합니다.
체크 아웃 – ETL 테스트 인터뷰 질문 및 답변
