데이터 기반 테스트란 무엇인가요?

데이터 기반 테스트

데이터 기반 테스트 테스트 데이터를 테이블이나 스프레드시트 형식으로 저장하는 소프트웨어 테스트 방법입니다. 데이터 기반 테스트를 통해 테스터는 테이블의 모든 테스트 데이터에 대한 테스트를 실행할 수 있는 단일 테스트 스크립트를 입력하고 동일한 테이블의 테스트 출력을 기대할 수 있습니다. 테이블 기반 테스트 또는 매개변수화된 테스트라고도 합니다.

데이터 기반 프레임워크

데이터 기반 프레임워크 데이터 기반 테스트 프레임워크는 데이터 파일에서 입력값을 읽어 테스트 스크립트의 변수에 저장하는 자동화 테스트 방식입니다. 이를 통해 테스터는 하나의 테스트에 긍정 테스트 케이스와 부정 테스트 케이스를 모두 포함할 수 있습니다. 데이터 기반 프레임워크의 입력 데이터는 .xls, .xml, .csv 파일이나 데이터베이스 등 하나 또는 여러 데이터 소스에 저장할 수 있습니다. 아래 그림은 데이터 파일에서 테스트 스크립트로 입력값이 어떻게 전달되는지 보여줍니다.

왜 데이터 기반 테스트인가?

데이터 기반 테스트 데이터 기반 테스트는 테스터가 단일 테스트에 대해 여러 데이터 세트를 사용하는 경우가 많고, 각 데이터 세트에 대해 개별 테스트를 작성하는 데 시간이 많이 소요될 수 있기 때문에 중요합니다. 데이터 기반 테스트를 사용하면 데이터와 테스트 스크립트를 분리할 수 있으며, 동일한 테스트 스크립트를 사용하여 다양한 입력 테스트 데이터 조합에 대해 테스트를 실행하고 효율적으로 테스트 결과를 생성할 수 있습니다.

예:

여러 입력 필드가 있는 로그인 시스템을 1000개의 서로 다른 데이터 세트를 대상으로 테스트한다고 가정해 보겠습니다.

이를 검증하기 위해 다음과 같은 다양한 접근 방식을 사용할 수 있습니다.

접근법 1) 데이터셋별로 스크립트를 하나씩, 총 1000개의 스크립트를 생성하고 각 테스트를 하나씩 개별적으로 실행합니다.

접근법 2) 테스트 스크립트의 값을 수동으로 변경하고 여러 번 실행합니다.

접근법 3) 엑셀 시트에서 데이터를 가져옵니다. 엑셀 행에서 테스트 데이터를 하나씩 가져와 스크립트를 실행합니다.

제시된 세 가지 시나리오 중 첫 번째와 두 번째는 번거롭고 시간이 많이 소요됩니다. 따라서 세 번째 접근 방식을 따르는 것이 이상적입니다.

따라서 세 번째 접근 방식은 데이터 기반 프레임워크에 불과합니다.

데이터 기반 테스트에서 사용되는 테스트 데이터 유형

데이터 기반 테스트의 가치는 테스트 스크립트에 입력하는 데이터 세트의 품질에 직접적으로 달려 있습니다. 잘 설계된 데이터 파일은 여러 범주의 테스트 데이터를 혼합하여 하나의 스크립트 실행으로 정상 동작, 오류 처리 및 한계를 검증할 수 있도록 합니다.

• 긍정적인(유효한) 데이터: 올바른 사용자 이름과 비밀번호와 같은 정확한 입력은 애플리케이션이 허용해야 할 정보를 수락했는지 확인하는 데 사용됩니다.
• 부정(유효하지 않은) 데이터: 잘못된 비밀번호나 숫자 입력란에 특수 문자가 포함된 경우와 같이 잘못되었거나 형식이 잘못된 입력은 거부됩니다.
• 경계 데이터: 허용 범위의 경계에 있는 값, 예를 들어 1자 또는 255자 사용자 이름은 숨겨진 결함을 자주 드러냅니다.
• 공백 또는 null 데이터: 필수 입력란 유효성 검사 및 오류 메시지를 확인하는 빈 필드입니다.
• 대용량 데이터: 실제 부하 조건에서 성능 및 안정성을 확인하기 위해 대량 또는 무작위로 생성된 레코드를 사용합니다.

필요한 데이터가 준비되면 다음 단계는 프레임워크 자체를 구축하는 것입니다.

데이터 기반 자동화 프레임워크를 만드는 방법

애플리케이션의 로그인 기능을 테스트한다고 가정해 보겠습니다. 위의 순서도는 전체 과정을 보여줍니다. 테스트 케이스를 식별하고, 공통 테스트 스크립트를 작성하고, 데이터를 외부 파일로 옮긴 다음, 각 데이터 행에 대해 스크립트를 반복 실행합니다.

단계 1) 테스트 케이스 식별

• 올바른 사용자 이름과 비밀번호를 입력하세요 – 로그인 성공
• 잘못된 사용자 이름과 올바른 비밀번호를 입력하세요 – 로그인 실패
• 올바른 사용자 이름과 잘못된 비밀번호를 입력하세요 – 로그인 실패

단계 2) 위의 3가지 테스트 사례에 대한 자세한 테스트 단계를 만듭니다.

테스트 케이스#	기술설명	테스트 단계	테스트 데이터	예상 결과
1	유효한 자격 증명이 있는지 로그인을 확인하세요.	응용 프로그램 실행 사용자 이름 비밀번호를 입력하세요 확인을 클릭하세요 결과 확인	사용자 이름: 유효한 비밀번호: 유효한	로그인 성공
2	잘못된 자격 증명이 있는지 로그인을 확인하세요.	응용 프로그램 실행 사용자 이름 비밀번호를 입력하세요 확인을 클릭하세요 결과 확인	사용자 이름: 잘못된 비밀번호: 유효함	로그인 실패
3	잘못된 자격 증명이 있는지 로그인을 확인하세요.	응용 프로그램 실행 사용자 이름 비밀번호를 입력하세요 확인을 클릭하세요 결과 확인	사용자 이름: 유효한 비밀번호: 유효하지 않음	로그인 실패

단계 3) 테스트 스크립트 생성

자세히 살펴보면, 테스트 단계는 세 가지 테스트 케이스 모두에서 동일합니다. 이러한 단계를 실행하는 테스트 스크립트를 작성해야 합니다.

// This is Pseudo Code

// Test Step 1: Launch Application
driver.get("URL of the Application");

// Test Step 2: Enter Username
txtbox_username.sendKeys("valid");

// Test Step 3: Enter Password
txtbox_password.sendKeys("invalid");

// Test Step 4: Check Results
If (Next Screen) print success else Fail

단계 4) 아래 샘플 시트에 표시된 것처럼 입력 테스트 데이터가 포함된 Excel/CSV 파일을 생성하세요.

단계 5) 입력 테스트 데이터를 반복 처리하도록 스크립트를 수정하세요. 입력 명령도 매개변수화해야 합니다.

// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
    // Read data from Excel and store into variables
    int input_1 = ReadExcel(i, 0);
    int input_2 = ReadExcel(i, 1);

    // Test Step 1: Launch Application
    driver.get("URL of the Application");

    // Test Step 2: Enter Username
    txtbox_username.sendKeys(input_1);
    // Test Step 3: Enter Password

    txtbox_password.sendKeys(input_2);
    // Test Step 4: Check Results
    If(Next Screen) print success
    else Fail
}

위에는 단지 3개의 테스트 케이스가 있습니다. 테스트 스크립트는 테스트 데이터 값을 추가하기만 하면 다음 테스트 케이스를 반복하는 데 사용할 수 있습니다. 뛰어나다

• 잘못된 사용자 이름과 잘못된 비밀번호를 입력하세요 – 로그인 실패
• 올바른 사용자 이름과 비밀번호를 입력하세요 – 로그인 실패
• 빈 사용자 이름과 빈 비밀번호를 입력하세요 – 로그인 실패

등

프레임워크가 준비되면 적절한 도구를 사용하여 데이터 관리, 실행 및 보고를 간소화할 수 있습니다.

최고의 데이터 기반 테스트 도구

1) 시그마 테스트

시그마 테스트 이 플랫폼은 클라우드 기반의 데이터 중심 테스트 플랫폼으로, 테스트 로직과 테스트 데이터를 분리하여 테스트 커버리지를 극대화하는 데 매우 유용합니다. 특히 다양한 데이터 세트, 예외 상황, 비즈니스 시나리오에 대해 애플리케이션을 검증해야 하는 팀을 위해 설계되었으며, 중복 테스트 스크립트를 작성할 필요 없이 전체 데이터 중심 테스트 워크플로를 간소화합니다.

데이터 기반 테스트 프로젝트를 진행하면서 Testsigma의 파라미터화 기능을 활용하여 Excel 및 CSV 파일과 같은 외부 소스의 다양한 데이터 조합에 대해 동일한 테스트 시나리오를 실행했습니다. 플랫폼의 데이터 행 자동 반복 기능 덕분에 테스트 범위를 크게 확장할 수 있었고, 데이터 수준별 결과에 대한 세부적인 보고 기능을 통해 웹, 모바일 및 API 계층 전반에서 어떤 특정 입력 조합이 오류를 유발하는지 신속하게 파악할 수 있었습니다.

특징:

• 외부 데이터 소스 통합: 이 기능은 Excel 스프레드시트, CSV 파일 및 데이터베이스 테이블에 직접 연결하여 테스트 데이터를 중앙 집중식으로 관리할 수 있도록 합니다. 하드코딩된 값을 없애고 테스트 로직과 독립적으로 테스트 데이터를 관리할 수 있습니다. 테스트 스크립트를 수정하지 않고도 데이터 세트를 업데이트할 수 있어 유연성과 유지 관리성을 보장합니다. 저는 이 기능을 사용하여 수백 가지의 데이터 변형을 효율적으로 관리하고 있습니다.ping 테스트 시나리오는 깔끔하고 재사용 가능합니다.
• 자동화된 다중 행 데이터 반복: Testsigma는 단일 테스트 실행에서 여러 데이터 행에 걸쳐 테스트 시나리오를 자동으로 실행하여 테스트 범위를 획기적으로 확장합니다. 테스트 케이스를 중복 작성하지 않고도 다양한 입력 조합, 경계 조건 및 비즈니스 규칙 변형을 검증할 수 있습니다. 이 기능은 데이터 순서 지정 및 반복 로직을 투명하게 처리합니다. 특히 스크립트 유지 관리 부담을 최소화하면서 포괄적인 회귀 테스트를 수행하는 데 매우 효과적이었습니다.
• 동적 테스트 단계 매개변수화: 이 기능을 사용하면 정적 값을 실행 중에 외부 소스에서 데이터를 가져오는 동적 매개변수로 대체할 수 있습니다. 데이터 세트 값에 따라 다양한 입력, 조건 및 예상 결과에 맞춰 테스트 단계를 조정할 수 있습니다. 이 기능은 복잡한 데이터 변환 및 조건부 논리를 지원합니다. 저는 이 기능을 활용하여 다양한 비즈니스 요구 사항과 사용자 워크플로에 맞는 유연한 테스트 시나리오를 구축합니다.
• 데이터 수준 실행 보고: 이 플랫폼은 개별 데이터 조합별로 테스트 결과를 분석하는 상세 보고서를 생성하여 어떤 입력값이 통과하고 어떤 입력값이 실패했는지 정확하게 보여줍니다. 패턴을 분석하고 문제가 있는 데이터 범위를 식별할 수 있습니다. trac특정 데이터셋 행에 대한 오류를 분석합니다. 이 기능은 이해관계자 소통을 위한 시각적 대시보드와 내보내기 가능한 분석 자료를 제공합니다. 이러한 인사이트를 활용하여 데이터 품질 개선의 우선순위를 정하고 테스트 데이터 전략을 개선하는 것이 좋습니다.
• 크로스 플랫폼 데이터 기반 지원: Testsigma는 통합 워크플로우 내에서 웹, 모바일 및 API 테스트 전반에 걸쳐 데이터 기반 기능을 확장합니다. 동일한 데이터 세트를 사용하여 다양한 애플리케이션 계층 및 기술 전반에 걸쳐 일관성을 검증할 수 있습니다. 이 기능은 매개변수화된 데이터 흐름을 통해 포괄적인 엔드투엔드 검증을 보장합니다. 저는 이 기능을 사용하여 백엔드 데이터 처리가 여러 플랫폼의 프런트엔드 인터페이스에 동시에 정확하게 반영되는지 확인했습니다.

가격:

• 가격: 데이터 기반 테스트 기능을 포함한 맞춤형 가격 책정이 포괄적인 구독 플랜에 포함됩니다.
• 무료 시험판: 14 일 무료 평가판

Testsigma 웹사이트 방문하기 >>

14 일 무료 평가판

---

2) Testiny

Testiny 는 제가 데이터 기반 테스트 케이스를 효율적으로 정리하면서 관리하는 데 사용해 온 최신 클라우드 기반 테스트 케이스 관리 플랫폼입니다.ping 테스트 로직과 매개변수화된 데이터셋 간의 명확한 분리가 특징입니다. 다양한 테스트 실행에서 여러 데이터 조합을 관리해야 하는 팀을 위해 설계되었으며, 데이터 손실을 방지하는 데 중점을 둡니다. trac능력.

데이터 기반 프로젝트를 진행하면서 Testiny특히, 일괄 편집 및 템플릿 기능 덕분에 수백 개의 데이터 행에 걸쳐 테스트 변형을 쉽게 확장할 수 있다는 점이 좋았습니다. 이 플랫폼은 Jira, GitHub, GitLab과 통합되어 있어 데이터 조합 오류가 발생하면 해당 이슈로 바로 연결됩니다. trackers는 자동으로.

특징:

• 일괄 테스트 케이스 편집: Testiny 이 기능을 사용하면 여러 테스트 케이스를 한 번에 편집, 복제 및 매개변수화할 수 있어 데이터 기반 변형을 빠르게 생성할 수 있습니다. 각 케이스를 개별적으로 수정하지 않고도 몇 초 만에 폴더 전체에 변경 사항을 적용할 수 있습니다. 저는 스크립트를 다시 작성하지 않고 새로운 데이터 세트로 테스트 범위를 확장할 때 이 기능을 많이 사용합니다.
• 데이터 입력용 사용자 정의 필드: 이 기능을 사용하면 프로젝트별로 사용자 지정 필드를 정의하여 데이터 세트 속성을 지정할 수 있습니다. trac각 테스트 실행과 함께 기록됩니다. 입력값, 예상 결과 및 조건을 한 곳에 명확하게 기록할 수 있습니다. 저는 이 필드를 사용하여 복잡한 매개변수 시나리오를 나중에 쉽게 검토할 수 있도록 합니다.
• 실시간 테스트 실행 Tracking: 이 플랫폼은 팀 구성원 전체에 실시간 실행 상태를 보여주므로 데이터 기반 테스트 실행이 투명하게 유지됩니다. 테스트 케이스를 할당하고, 합격/불합격률을 모니터링하고, 차단된 데이터 조합을 즉시 파악할 수 있습니다. 저는 이 기능이 테스트 관리에 유용하다고 생각합니다.ping QA 책임자들은 지속적인 회의 없이도 상황을 파악할 수 있습니다.
• PDF 및 공유 가능한 보고서: Testiny 차트와 실행 요약이 포함된 깔끔한 PDF 보고서를 생성하여 기술 전문가가 아닌 이해관계자들과도 공유할 수 있습니다. 데이터 세트, 마일스톤 또는 릴리스별로 필터링할 수 있습니다. 저는 품질 상태를 전달하기 위해 각 스프린트 종료 시점에 이러한 보고서를 배포합니다.
• 원주민 문제 Trac커널 통합: 이 앱은 Jira, GitHub, GitLab과 연결됩니다. Azure 데브옵스, 선형, AsanaConfluence, Trello, monday.com 등을 활용하면 데이터 오류가 발생한 행을 신속하게 티켓으로 전환할 수 있습니다. 이를 통해 테스트 실행과 엔지니어링 워크플로를 일관되게 유지할 수 있습니다. 저는 이러한 방식이 QA 팀과 개발 팀 간의 인수인계 과정에서 발생하는 마찰을 크게 줄여준다는 것을 경험했습니다.

가격:

• 가격: 최대 3명까지 무료 플랜을 이용할 수 있으며, 유료 플랜은 사용자 수에 따라 확장되고 프리미엄 지원이 추가됩니다.
• 무료 시험판: 21 일 무료 평가판

방문 Testiny >>

21 일 무료 평가판

---

3) Testpad

Testpad 이 도구는 데이터 기반 시나리오를 복잡한 절차 없이 신속하게 기록해야 할 때 제가 즐겨 사용하는 가볍고 체크리스트 기반의 테스트 관리 도구입니다. 계층적 체크리스트 구조를 기반으로 구축되어 있어 테스터는 데이터 변형을 상위 케이스 아래에 그룹화하고 빠르게 실행할 수 있습니다.

데이터 기반 세션을 진행하는 동안 Testpad키보드 우선 인터페이스를 사용하여 한 번에 수십 가지 입력 조합을 만들어낼 수 있었습니다. 게스트 테스터 지원 덕분에 추가 비용 없이 해당 분야 전문가를 초빙하여 특수한 데이터 조합을 검증할 수 있었습니다.

특징:

• 계층적 테스트 체크리스트: Testpad 매개변수화된 테스트를 중첩된 체크리스트로 구성하여 관련 데이터 변형을 단일 상위 케이스 아래에 그룹화할 수 있습니다. 분기를 확장하거나 축소하여 특정 데이터 세트에 집중할 수 있습니다. 저는 복잡한 데이터 행렬을 시각적으로 깔끔하게 정리하기 위해 이 기능을 사용합니다.
• 키보드를 이용한 편집: 키보드 단축키를 사용하여 테스트 항목을 생성, 들여쓰기 및 재정렬할 수 있으므로 대규모 데이터 기반 계획을 빠르게 구축할 수 있습니다. 마우스를 사용하지 않고도 작업 흐름을 유지할 수 있습니다. 저는 이 기능 덕분에 새로운 데이터셋 행을 수집하는 데 걸리는 시간이 크게 단축되는 것을 경험했습니다.
• 게스트 테스터 액세스: Testpad 사용자당 요금 없이 무제한 게스트 테스터를 지원하므로 특정 데이터 조합에 대한 도메인 전문가를 초빙할 수 있습니다. 라이선스 비용 부담 없이 이해 관계자를 초대하여 예외적인 상황을 검증할 수 있습니다. 저는 매개변수화된 시나리오를 사용하는 사용자 승인 테스트에서 이 기능을 적극적으로 활용합니다.
• 즉시 공유 가능한 보고서: 이 플랫폼은 링크를 통해 공유할 수 있는 간편한 보고서를 생성하므로 도구를 열지 않고도 진행 상황을 확인할 수 있습니다. 테스터, 상태 또는 테스트 브랜치별로 필터링할 수 있습니다. 저는 데이터 기반 테스트 실행이 끝날 때마다 이 보고서를 제품 관리자에게 보냅니다.
• 발행물 Trac케르 링크: 이 도구는 간단한 링크를 통해 실패한 테스트를 Jira 또는 GitHub 티켓과 연결하여 데이터 행 오류가 엔지니어링 팀에 신속하게 전달되도록 합니다. 실패한 체크리스트 항목에서 컨텍스트를 직접 첨부할 수도 있습니다. 테스터는 실행에만 집중하고, 도구가 라우팅을 처리하도록 합니다.

가격:

• 가격: 요금제는 월 59달러부터 시작하며, 더 큰 규모의 팀을 위한 맞춤형 엔터프라이즈 요금제도 제공됩니다.
• 무료 시험판: 30 일 무료 평가판

방문 Testpad >>

30 일 무료 평가판

데이터 기반 테스트의 모범 사례

다음은 데이터 기반 테스트를 위한 최적의 테스트 방법입니다.

• 데이터 기반 테스트 프로세스에서는 현실적인 정보를 사용하는 것이 이상적입니다.
• 테스트 흐름 탐색은 테스트 스크립트 내부에 코딩되어야 합니다.
• 의미 있는 데이터로 가상 API 구동
• 데이터를 사용하여 동적 주장 추진
• 긍정적인 결과와 부정적인 결과를 테스트합니다.
• 보안 및 성능을 위한 데이터 기반 기능 테스트 용도 변경

데이터 기반 테스트의 장점

데이터 기반 테스트는 여러 가지 장점을 제공합니다. 그중 일부는 다음과 같습니다.

1. 여러 데이터 값 세트를 사용하여 애플리케이션을 테스트할 수 있습니다. 회귀 테스트
2. 테스트 데이터와 검증 데이터를 하나의 파일로 정리할 수 있으며, 테스트 케이스 로직과 별개입니다.
3. 이 도구를 사용하면 테스트 스크립트를 단일 저장소에 저장할 수 있습니다. 덕분에 테스트를 쉽게 이해하고 유지 관리하며 관리할 수 있습니다.
4. 액션과 함수는 다양한 테스트에서 재사용될 수 있습니다.
5. 일부 도구는 테스트 데이터를 자동으로 생성합니다. 이는 대량의 무작위 테스트 데이터가 필요할 때 유용하며 시간을 절약하는 데 도움이 됩니다.
6. 데이터 기반 테스트는 개발의 어느 단계에서든 수행할 수 있습니다. 데이터 기반 테스트 케이스는 일반적으로 단일 프로세스에 통합되지만, 여러 테스트 케이스에 걸쳐 사용될 수도 있습니다.
7. 개발자와 테스터가 테스트 데이터에서 테스트 사례/스크립트의 논리를 명확하게 구분할 수 있습니다.
8. 동일한 테스트 케이스를 여러 번 실행할 수 있으므로 테스트 케이스와 스크립트의 수를 줄이는 데 도움이 됩니다.
9. 테스트 스크립트의 변경 사항은 테스트 데이터에 영향을 미치지 않습니다.

데이터 기반 테스트의 단점

데이터 기반 자동화 테스트 방법의 몇 가지 단점은 다음과 같습니다.

1. 테스트의 품질은 구현팀의 자동화 기술에 달려 있습니다.
2. 대량의 데이터를 테스트할 때 데이터 유효성 검사는 시간이 많이 소요되는 작업입니다.
3. 데이터 기반 테스트에는 상당한 양의 코딩이 필요하기 때문에 유지 관리가 큰 문제입니다.
4. 높은 수준의 기술력이 요구됩니다. 테스터는 완전히 새로운 스크립팅 언어를 배워야 할 수도 있습니다.
5. 스크립트 관리, 테스트 인프라 및 테스트 결과와 관련된 문서가 더 많이 제공될 예정입니다.
6. 데이터 파일을 생성하고 유지하려면 메모장과 같은 텍스트 편집기가 필요합니다.

데이터 기반 테스트 vs 키워드 기반 테스트

초보자들은 데이터 기반 테스트와 키워드 기반 테스트를 혼동하는 경우가 많은데, 둘 다 테스트 설계와 테스트 스크립트를 분리하기 때문입니다. 두 테스트의 차이점은 무엇을 외부화하는지에 있습니다. 데이터 기반 테스트는 입력값을 외부화하는 반면, 키워드 기반 테스트는 동작 자체를 재사용 가능한 키워드로 외부화합니다. 아래 표는 두 접근 방식을 비교합니다.

매개 변수	데이터 기반 테스트	키워드 중심 테스트
외부화된 것은 무엇인가	테스트 데이터(입력값 및 예상 결과)	테스트 동작(로그인, 클릭, 확인 등의 키워드)
데이터 소스	Excel, CSV, XML 또는 데이터베이스 테이블	키워드 테이블 및 선택적 데이터 테이블
필요한 기술	중급 스크립팅 지식	초기 설계 노력은 더 많이 들지만, 새로운 테스트를 작성하는 데 필요한 코딩량은 줄어듭니다.
적합한	하나의 시나리오를 여러 입력 조합으로 반복합니다.	재사용 가능한 액션 블록을 사용하여 다양한 시나리오 구축
유지보수	스크립트를 건드리지 않고 데이터 파일을 업데이트합니다.	애플리케이션 동작이 변경될 때 키워드 라이브러리를 업데이트하세요.

많은 팀들이 두 가지 접근 방식을 결합하여 하이브리드 프레임워크를 만드는데, 이 프레임워크에서는 키워드가 재사용 가능한 작업을 정의하고 외부 데이터 파일이 각 테스트 실행에 필요한 값을 제공합니다.

자주 묻는 질문