Что такое пилотное тестирование? Определение, значение, примеры

Что такое пилотное тестирование?

Пилотное тестирование Пилотное тестирование определяется как тип тестирования программного обеспечения, который проверяет компонент системы или всю систему в условиях работы в реальном времени. Цель пилотного тестирования — оценить осуществимость, время, стоимость, риски и производительность проекта до его выпуска для всех пользователей.

Это тестирование проводится именно между UAT и Production.

В ходе пилотного тестирования выбранная группа конечных пользователей пробует тестируемую систему и предоставляет обратную связь до ее полного развертывания. Другими словами, это генеральная репетиция перед последующим тестированием удобства использования, которая помогает на ранней стадии выявлять ошибки в системе.

На приведенной ниже схеме показана такая схема: готовая сборка предоставляется ограниченной группе пилотов и отслеживается там, в то время как более широкая база пользователей остается на существующей системе до получения результатов.

Пилотное тестирование связано с установкой системы на площадке клиента (или в среде, моделируемой пользователем) для тестирования ее непрерывного и регулярного использования.

Наиболее распространенный метод — это постоянное использование системы для выявления ее слабых мест. Эти слабые места затем отправляются команде разработчиков в виде отчетов об ошибках обычным способом. процесс управления дефектамиа дефекты будут исправлены в следующей сборке системы.

В ходе этого процесса иногда приемочное тестирование также включается как часть Тестирование совместимости. Это происходит, когда разрабатывается система для замены старой.

In Программная инженерияПилотное тестирование также отвечает на коммерческий вопрос, а именно, имеет ли продукт или услуга потенциальный рынок сбыта.

Почему важно пилотное тестирование

Пилотный проект — это последняя возможность чему-то научиться недорого. Всё, что происходит после него, — это производственный инцидент. В частности, пилотный тест даёт следующие результаты:

• Отлаживает программное обеспечение и процедуры, используемые для его тестирования и поддержки.
• Подтверждает, действительно ли продукт готов к полномасштабному внедрению.
• Способствует принятию более обоснованных решений по распределению времени, бюджета и ресурсов при внедрении.
• Оценивает реакцию целевой группы населения на продукт или программу.
• Оценивает успех программы по согласованным критериям, а не на основе субъективного мнения.
• Предоставляет команде возможность отрепетировать действия, которые она будет использовать во время тестирования удобства использования.

Как провести пилотное тестирование

Уровень пилотного тестирования зависит от размера и объема вашего проекта миграции. Фактическое пилотное тестирование проводится в специальной зоне или лаборатории, где пользователи запускают многочисленные процедуры, транзакции и отчеты, моделируя функциональность программного обеспечения.

В зависимости от контекста проекта может проводиться пилотное тестирование:

• Для крупного коммерческого предприятия пилотное тестирование может быть проведено с группой пользователей на наборе серверов в центре обработки данных.
• Для компании, занимающейся веб-разработкой, пилотное тестирование может быть проведено путем размещения файлов сайта на тестовых серверах или папок в режиме реального времени в интернете.
• Для поставщиков коммерческого программного обеспечения пилотное тестирование может быть проведено с участием специальной группы первых пользователей.

Вне зависимости от контекста, пилотное тестирование проводится в соответствии с письменным планом, состоящим из пяти этапов.

Шаг 1: Разработка пилотного плана

Шаг 2: Подготовка к пилотному испытанию

Шаг 3: Развертывание и тестирование пилотного проекта.

Шаг 4: Оценка результатов пилотного тестирования

Шаг 5: Подготовка к развертыванию в производственной среде

Перед проведением пилотного тестирования необходимо учесть следующие моменты:

• Обеспечьте участникам надлежащую подготовку.
• План развертывания серверов и подготовки систем к пилотному проекту.
• Документация по процессу установки.
• Тестовые скрипты для каждого программного приложения. Они представляют собой контрольные списки функций, которые необходимо выполнить.
• Постоянно предоставляйте командам разработчиков и тестировщиков обратную связь от пользователей, используя электронную почту или веб-сайты.
• Установите критерии оценки пилота, например информацию о количестве недовольных пользователей, количестве звонков и запросов в службу поддержки и т. д.
• Создайте рабочую группу из партнеров или заинтересованных сторон из числа местных жителей, которые инвестировали в ваш проект и будут регулярно встречаться для обсуждения достигнутого прогресса.
• Разработайте план оценки и инструменты оценки для сбора необходимой информации о знаниях, изменениях в отношении и поведении пилотной группы.

В ходе пилотного тестирования команда собирает и анализирует тестовые данные. На основе этих данных команда выберет одну из следующих стратегий.

• Шатаясь вперед – Развернуть новую предварительную версию для пилотной группы.
• Откат – Выполните план отката, чтобы восстановить группу пилотов до предыдущего состояния конфигурации.
• Приостанавливать – Приостановить пилотные испытания.
• Исправьте и продолжайте – Развернуть исправления для устранения неполадок в существующем решении.
• Развертывание – Перейти к развертыванию решения.

Возможность отката — это причина, по которой пилотный проект вообще стоит запускать, поэтому путь восстановления необходимо отработать так же тщательно, как и в случае с другими подобными функциями. тестирование восстановления отрабатывает действия в случае сбоев, а не записывает их и исходит из предположения, что они должны работать.

Критерии входа и выхода для пилотных испытаний

Пилотный проект без согласованных критериев превращается в спор о мнениях, как только поступает обратная связь. Оба набора критериев утверждаются до того, как первый пользователь войдет в систему.

Критерии допуска – пилот может приступить к работе, когда:

• Пользовательское приемочное тестирование завершено, и ни один из выявленных дефектов не имеет таких серьезных недостатков, которые препятствовали бы повседневной работе.
• Пилотная среда имитирует производственную среду по конфигурации, объему данных и интеграциям.
• Пилотная группа была отобрана, обучена и проинформирована о цели и продолжительности учений.
• Для пилотного периода существует проверенный план отмены изменений и контактный телефон службы поддержки.

Критерии завершения – пилотный проект заканчивается, когда становятся доступны согласованные результаты измерений, как правило:

• Количество дефектов оценивается по степени серьезности, при этом устанавливается пороговое значение, превышение которого приводит к отсрочке внедрения.
• Показатели выполнения задач и частоты ошибок в бизнес-процессах, поддерживаемых системой.
• Производительность измерялась по сравнению с базовым уровнем заменяемой системы.
• Нагрузка на службу поддержки, например, количество звонков или заявок, созданных одним пользователем за неделю.
• Удовлетворенность пользователей оценивалась с помощью структурированного опроса, а не на основе неформальных комментариев.

Эти измерения определяют, будет ли проект реализован или нет, и те же самые показатели обычно используются в более широком контексте. тестирование на основе рисков Оценка, определяющая, какой дополнительный объем информации необходим для выпуска продукта до его общего выпуска.

Пилотное тестирование против бета-тестирования

Эти два вида деятельности часто путают, поскольку в обоих случаях пользователям предоставляется незавершенное программное обеспечение. Разница заключается в контроле: пилотный проект — это контролируемое испытание в рамках определенной группы, а бета-версия — это открытый релиз, в ходе которого собирается большое количество отзывов.

Аспект	Пилотное тестирование	Бета-тестирование
Аудитория	Отобранная репрезентативная группа в известном месте	Любой гражданин, который даст на это согласие.
Окружающая среда	Производственная среда, контролируемая командой.	Собственные устройства и сети пользователя
тайминг	После пользовательского приемочного тестирования, перед внедрением.	После пилотного выпуска, ближе к общему релизу.
Цель	Доказать осуществимость, стоимость, риски и готовность к развертыванию.	Соберите широкий круг отзывов и выявите редкие экологические проблемы.
Измерения	Официальные критерии приема и увольнения с согласованными показателями.	Сообщения о проблемах и телеметрия использования
Отмена	Запланировано и отрепетировано для пилотной группы.	Пользователи самостоятельно удаляют или откатывают изменения.

Пилотные испытания в равной степени отличаются от приемочное тестирование пользователя, который задает вопрос, соответствует ли система согласованным требованиям, и из альфа-тестированиеЭто происходит внутри компании, еще до того, как заказчик увидит готовую сборку.

Преимущества и недостатки пилотных испытаний

Компромисс очевиден: пилот покупает доказательства, а платит за эти доказательства усилиями по планированию и координации.

Преимущества	Недостатки
Выявляет дефекты в реальных условиях эксплуатации, которые невозможно воспроизвести в лабораторных условиях.	Добавляет этап в расписание между пользовательским приемочным тестированием и релизом.
Проверяет этапы установки, учебные материалы и процедуры технической поддержки.	Требуется среда, максимально приближенная к производственной, и выделенная служба технической поддержки.
Предоставляет обоснованные доказательства для принятия решения о целесообразности или нецелесообразности проекта.	Результаты являются репрезентативными только в той мере, в какой была выбрана пилотная группа.
Ограничивает радиус поражения в случае отказа одной группой, а не всеми пользователями.	При проведении короткого пилотного проекта можно упустить из виду особенности поведения рынка в конце месяца, пиковые нагрузки и сезонные колебания.
Способствует укреплению доверия заинтересованных сторон перед более широким внедрением.	Участники могут колебаться, сообщая о проблемах в своей работе в режиме реального времени.

В обеих статьях утверждается, что пилотный проект следует рассматривать как запланированный этап внутри жизненный цикл тестирования программного обеспечения со своим собственным планом и владельцем, а не как неформальный период отдыха, добавленный в конце тестирование системы.

Передовая практика пилотного тестирования

• Запланируйте пилотный тест за два дня до юзабилити-теста.
• Не начинайте пилотное тестирование до тех пор, пока все пользователи, клиенты и проектная группа не придут к согласию относительно критериев успешного результата.
• Попросите пользователей отмечать любые проблемы в своих копиях материалов, описывать свои проблемы и предлагать предложения (если таковые имеются) по улучшению.
• Проинформируйте пользователей о цели, продолжительности и ходе пилотного проекта.
• Выбирайте участников, которые отражают реальную пользовательскую аудиторию, включая менее уверенных в себе, поскольку группа энтузиастов демонстрирует более лестные результаты.
• Ведите единый журнал проблем, отзывов и решений, чтобы анализ результатов работы при увольнении проводился на основе одной записи.

Еще два момента связаны с самой средой. Необходимо тщательно контролировать распространение устройств, браузеров и операционных систем среди участников пилотной группы. тестирование конфигурации и подтвердить, что повседневные операции, такие как резервное копирование, мониторинг и пакетные задания, работают должным образом, что и является областью, охватываемой эксплуатационные приемочные испытания.

Пример пилотного тестирования

Ниже приведены некоторые распространенные примеры пилотного тестирования:

• Microsoft управляет Windows Инсайдерская программавыпуская предварительный релиз Windows Сборки размещаются в каналах для волонтеров до того, как они станут общедоступными.
• Google управляет Android Бета-программа, которая регистрирует поддерживаемые устройства Pixel для участия в предварительном тестировании. Android Сборка осуществляется до публичного релиза.
• Компания HP проводит онлайн-пилотные программы для своей продукции и услуг.

Каждый из примеров имеет одинаковую структуру: ограниченная, самостоятельно отобранная группа пользователей запускает реальный продукт, телеметрия и обратная связь передаются поставщику, а более широкое распространение продукта ожидает получения этих данных. Место этого метода среди других доступных подходов изложено в [ссылка на источник]. виды тестирования ПО.

Часто задаваемые вопросы (FAQ)