파일럿 테스트란 무엇입니까? 정의, 의미, 예
토마스 해밀턴
⚡ 스마트 요약
파일럿 테스트는 실제 운영 환경에서 선정된 실제 사용자 그룹에게 작동 가능한 시스템을 제공하여 사용자 수용 테스트와 전체 생산 배포 사이의 기간 동안 실현 가능성, 비용, 위험 및 성능을 검증합니다.
파일럿 테스트란 무엇입니까?
파일럿 테스트 파일럿 테스트는 시스템의 구성 요소 또는 전체 시스템을 실시간 운영 환경에서 검증하는 소프트웨어 테스트 유형으로 정의됩니다. 파일럿 테스트의 목적은 프로젝트를 모든 사용자에게 공개하기 전에 타당성, 시간, 비용, 위험 및 성능을 평가하는 것입니다.
이 테스트는 UAT와 프로덕션 사이에서 정확하게 수행됩니다.
파일럿 테스트에서는 선정된 최종 사용자 그룹이 테스트 대상 시스템을 사용해보고 전체 시스템 배포 전에 피드백을 제공합니다. 다시 말해, 이는 이후에 진행될 사용성 테스트의 예행연습이며 시스템의 버그를 조기에 발견하는 데 도움이 됩니다.
아래 다이어그램은 해당 구성을 보여줍니다. 완성된 빌드는 제한된 파일럿 그룹에 배포되어 모니터링되고, 더 많은 사용자는 결과가 나올 때까지 기존 시스템을 계속 사용합니다.
파일럿 테스트는 지속적이고 정기적인 사용에 대한 테스트를 위해 고객 사이트(또는 사용자 시뮬레이션 환경)에 시스템을 설치하는 것과 관련됩니다.
가장 일반적인 방법은 시스템을 지속적으로 사용하여 취약점을 파악하는 것입니다. 이렇게 파악된 취약점은 일반적인 버그 보고서 형태로 개발팀에 전달됩니다. 결함 관리 프로세스그리고 해당 결함은 시스템의 다음 빌드에서 수정됩니다.
이 과정에서 때때로 승인 테스트도 다음의 일부로 포함됩니다. 호환성 테스트. 이는 기존 시스템을 대체하기 위해 시스템을 개발할 때 발생합니다.
In 소프트웨어 공학또한, 시범 테스트는 제품이나 서비스에 잠재적인 시장이 있는지 여부와 같은 상업적인 질문에 대한 답을 제공합니다.
파일럿 테스트가 중요한 이유
파일럿 테스트는 저렴하게 무언가를 배울 수 있는 마지막 기회입니다. 그 이후의 모든 것은 실제 운영 과정에서 발생하는 문제입니다. 구체적으로, 파일럿 테스트는 다음과 같은 이점을 제공합니다.
- 소프트웨어와 이를 테스트하고 지원하는 데 사용되는 절차를 디버깅합니다.
- 제품이 본격적인 도입에 적합한지 여부를 확인합니다.
- 출시를 위한 시간, 예산 및 자원 배분에 대한 더 나은 의사 결정을 지원합니다.
- 대상 고객층의 제품 또는 프로그램에 대한 반응을 측정합니다.
- 프로그램의 성공 여부를 의견이 아닌 합의된 기준에 따라 측정합니다.
- 팀에게 사용성 테스트 중에 사용할 활동들을 미리 연습해 볼 기회를 제공합니다.
파일럿 테스트를 수행하는 방법
파일럿 테스트 수준은 마이그레이션 프로젝트의 규모와 범위에 따라 다릅니다. 실제 파일럿 테스트는 사용자가 소프트웨어 기능을 시뮬레이션하면서 수많은 절차, 트랜잭션 및 보고서를 실행하는 전용 영역 또는 연구실에서 수행됩니다.
파일럿 테스트는 프로젝트의 맥락에 따라 진행될 수 있습니다.
- 일반적인 기업의 경우, 데이터센터 내 서버 세트를 사용하여 사용자 그룹을 대상으로 시범 테스트를 진행할 수 있습니다.
- 웹 개발 기업의 경우, 파일럿 테스트는 스테이징 서버에 사이트 파일을 호스팅하거나 인터넷상의 폴더에 파일을 직접 게시하는 방식으로 진행할 수 있습니다.
- 상용 소프트웨어 공급업체의 경우 특별 얼리 어답터 그룹을 통해 파일럿 테스트를 수행할 수 있습니다.
어떤 상황에 적용되든, 파일럿 테스트는 5단계로 구성된 서면 테스트 계획을 따릅니다.
1단계: 시범 사업 계획 수립
2단계: 파일럿 테스트 준비
3단계: 파일럿 테스트 배포 및 테스트
4단계: 파일럿 테스트 평가
5단계: 프로덕션 배포 준비
파일럿 테스트를 진행하기 전에 다음과 같은 사항을 고려해야 합니다.
- 참가자들에게 적절한 교육을 제공하십시오.
- 서버 배포 및 시범 운영을 위한 시스템 준비를 위한 실행 계획.
- 설치 과정에 대한 문서입니다.
- 각 소프트웨어 애플리케이션에 대한 테스트 스크립트입니다. 실행해야 할 기능 목록으로 구성되어 있습니다.
- 이메일이나 웹사이트를 이용하여 사용자로부터 얻은 피드백을 디자인 및 테스트 팀에 지속적으로 제공하세요.
- 불만족한 사용자 수, 지원 전화 및 요청 수 등에 대한 정보와 같은 파일럿 평가 기준을 설정합니다.
- 프로젝트에 투자하고 정기적으로 진행 상황을 논의할 지역사회 파트너 또는 이해관계자로 구성된 실무 그룹을 구성하십시오.
- 시범 그룹의 지식, 태도 및 행동 변화에 대한 필요한 정보를 수집하기 위한 평가 계획과 평가 도구 또는 수단을 개발하십시오.
파일럿 테스트 기간 동안 팀은 테스트 데이터를 수집하고 평가합니다. 해당 데이터를 바탕으로 팀은 다음 전략 중 하나를 선택합니다.
- 비틀거리며 앞으로 – 파일럿 그룹에 새로운 릴리스 후보를 배포합니다.
- 롤백 – 롤백 계획을 실행하여 파일럿 그룹을 이전 구성 상태로 복원합니다.
- 중지하다 – 시범 테스트를 중단합니다.
- 패치하고 계속하기 – 기존 솔루션을 수정하기 위한 패치를 배포합니다.
- 배포 - 솔루션 배포를 진행합니다.
롤백 옵션은 파일럿 프로젝트를 진행할 가치가 있는 이유이므로, 복원 경로는 파일럿 프로젝트와 마찬가지로 철저하게 연습해야 합니다. 회복 테스트 실패 처리 방식을 글로 써놓고 효과가 있을 거라고 가정하기보다는, 실제로 연습해 보는 것이다.
파일럿 테스트 참가 및 종료 기준
합의된 기준 없이 진행되는 시범 운영은 피드백이 도착하는 순간 의견 차이에 대한 논쟁으로 변질됩니다. 따라서 첫 번째 사용자가 로그인하기 전에 두 가지 기준 모두에 대한 승인을 받아야 합니다.
참가 기준 – 시범 프로그램은 다음과 같은 경우에 시작될 수 있습니다.
- 사용자 수용 테스트가 완료되었으며, 일상 업무를 방해할 정도의 심각한 결함은 발견되지 않았습니다.
- 파일럿 환경은 구성, 데이터 용량 및 통합 측면에서 프로덕션 환경을 그대로 반영합니다.
- 시범 그룹은 선정, 교육 및 훈련이 완료되었으며, 훈련의 목적과 기간에 대한 설명을 들었습니다.
- 시범 운영 기간 동안 사용할 수 있는 검증된 롤백 계획과 지원 담당자 연락처가 마련되어 있습니다.
종료 기준 – 파일럿 프로그램은 합의된 측정값이 확보되면 종료됩니다. 일반적으로 다음과 같습니다.
- 결함은 심각도별로 집계되며, 특정 임계값을 초과하면 배포가 연기됩니다.
- 시스템이 지원하는 비즈니스 프로세스의 작업 완료율 및 오류율.
- 성능은 교체 대상 시스템의 기준선 대비 측정되었습니다.
- 지원 부하, 예를 들어 사용자당 주당 접수된 문의 전화 또는 티켓 수.
- 사용자 만족도는 비공식적인 의견이 아닌 구조화된 설문조사를 통해 수집되었습니다.
이러한 측정값들은 최종적인 승인 또는 거부 결정에 반영되며, 일반적으로 동일한 수치들이 더 광범위한 의사결정에도 활용됩니다. 위험 기반 테스트 일반 출시 전에 해당 릴리스에 필요한 추가 보장 범위를 결정하는 평가입니다.
파일럿 테스트 vs 베타 테스트
파일럿 테스트와 베타 테스트는 둘 다 미완성 소프트웨어를 사용자에게 제공한다는 점에서 혼동되는 경우가 많습니다. 하지만 차이점은 제어 방식에 있습니다. 파일럿 테스트는 특정 그룹 내에서 진행되는 측정 가능한 시험인 반면, 베타 테스트는 대규모 사용자로부터 피드백을 수집하기 위해 공개적으로 배포하는 것입니다.
| 아래 | 파일럿 테스트 | 베타 테스트 |
|---|---|---|
| 오디언스 (Audience) | 알려진 장소에서 선별된 대표 그룹 | 참여를 원하는 모든 일반인 |
| 환경 | 팀이 관리하는 실제 생산 환경과 유사한 환경 | 사용자의 기기 및 네트워크 |
| 타이밍 | 사용자 수용 테스트 완료 후, 출시 전 | 시범 방송 이후, 정식 출시가 가까워질 것입니다. |
| 목적 | 실현 가능성, 비용, 위험 및 배포 준비 상태를 입증하십시오. | 폭넓은 의견을 수렴하고 잘 알려지지 않은 환경 문제를 드러내세요 |
| 측량 | 합의된 지표를 포함한 공식적인 진입 및 퇴출 기준 | 보고된 문제 및 사용량 원격 측정 데이터 |
| 되돌리기 | 시범 그룹을 위해 계획 및 리허설을 진행했습니다. | 사용자가 직접 제거하거나 이전 버전으로 되돌릴 수 있습니다. |
파일럿 테스트는 다음과 마찬가지로 구별됩니다. 사용자 수용 테스트이는 시스템이 합의된 요구 사항을 충족하는지 묻는 것이며, 알파 테스트이는 고객이 최종 결과물을 보기 전에 내부적으로 진행되는 작업입니다.
파일럿 테스트의 장점과 단점
상충 관계는 간단합니다. 시범 사업자는 증거를 확보하는 대신 일정 및 조정 노력이라는 비용을 지불합니다.
| 장점 | 단점 |
|---|---|
| 실험실에서는 재현할 수 없는 실제 사용 패턴에서의 결함을 드러냅니다. | UAT와 릴리스 사이에 일정 단계를 추가합니다. |
| 설치 단계, 교육 자료 및 지원 절차를 검증합니다. | 실제 운영 환경과 유사한 환경 및 전담 지원 인력이 필요합니다. |
| 진행 여부 결정을 위한 측정 가능한 증거를 제시합니다. | 결과의 대표성은 선정된 시범 집단의 대표성에 달려 있습니다. |
| 장애 발생 시 그 영향 범위를 모든 사용자가 아닌 특정 그룹으로 제한합니다. | 단기 시범 운영으로는 월말, 최대 부하 및 계절적 변동성을 놓칠 수 있습니다. |
| 광범위한 출시 전에 이해관계자의 신뢰를 구축합니다. | 참가자들은 실제 업무에서 발생하는 문제를 보고하는 것을 주저할 수 있습니다. |
두 칼럼 모두 시범 운영을 정규 프로그램 내의 예정된 단계로 취급해야 한다고 주장합니다. 소프트웨어 테스팅 수명주기 단순히 일정을 마무리하는 비공식적인 준비 기간이 아니라, 자체적인 계획과 소유자를 가진 프로젝트로 진행되어야 합니다. 시스템 테스트.
파일럿 테스트에 대한 모범 사례
- 사용성 테스트 이틀 전에 파일럿 테스트를 예약하세요.
- 모든 사용자, 고객 및 프로젝트 팀이 성공적인 결과에 대한 기준에 동의할 때까지 시범 테스트를 시작하지 마십시오.
- 사용자에게 자료 사본에 문제를 표시하고, 우려 사항을 설명하고, 개선을 위한 제안(있는 경우)을 제안하도록 요청합니다.
- 시범 사업의 목적, 기간 및 진행 상황을 사용자에게 알리십시오.
- 실제 사용자층을 반영하는 참가자를 선정하되, 자신감이 부족한 참가자도 포함해야 합니다. 열정적인 참가자 그룹은 긍정적인 결과를 가져오는 경향이 있기 때문입니다.
- 문제, 피드백 및 결정 사항을 하나의 기록으로 통합하여 퇴사 평가가 하나의 자료를 기반으로 진행될 수 있도록 하십시오.
두 가지 추가적인 실천 방안은 환경 자체에서 얻을 수 있습니다. 시범 그룹의 기기, 브라우저 및 운영 체제 분포를 최대한 신중하게 파악하십시오. 구성 테스트 그리고 백업, 모니터링 및 배치 작업과 같은 일상적인 작업이 제대로 작동하는지 확인하는 것입니다. 이는 본 문서에서 다루는 내용입니다. 운영 수용 테스트.
파일럿 테스트의 예
다음은 파일럿 테스트의 몇 가지 일반적인 예입니다.
- Microsoft ~을 실행하다 Windows 내부자 프로그램사전 출시를 시작합니다 Windows 일반 사용자에게 공개되기 전에 자원 봉사 채널에 빌드를 배포합니다.
- Google ~을 실행하다 Android 베타 프로그램지원되는 Pixel 기기를 등록하여 사전 출시 버전을 시험해 볼 수 있습니다. Android 정식 출시 전에 빌드 작업을 진행합니다.
- HP는 자사 제품 및 서비스에 대한 온라인 시범 프로그램을 운영합니다.
각 예시는 동일한 형태를 띕니다. 제한된 수의 자발적 참여자가 실제 제품을 사용하고, 원격 측정 데이터와 피드백이 공급업체로 전송되며, 더 광범위한 출시는 이러한 증거를 기다리는 방식입니다. 이 기술이 다른 접근 방식들 사이에서 어떤 위치를 차지하는지는 다음과 같습니다. 소프트웨어 테스트 유형.
