Как выбрать лучший инструмент для автоматизированного тестирования?

В статье Улучшение процесса тестированияВы узнали о моментах, которые можно улучшить в ходе проекта. Guru99 Банк. Он использует автоматизированные системы. Тестирование вместо Ручное тестирование. Но члены команды могут спросить вас:

Ответить на этот вопрос сложно, поскольку необходимо учитывать множество факторов.

• Вы хотите поддержать свою деятельность по тестированию с помощью программного инструмента, но не знаете инструментов, доступных в настоящее время на рынке.
• Какой тип инструмента лучше всего соответствует требованиям и бюджету проекта?
• Кто в команде обладает навыками использования инструмента после его приобретения?

Важность выбора инструмента тестирования программного обеспечения

Успех в любой автоматизации тестирования зависит от выбора правильного инструмента для автоматизации. Выбор «правильного» инструмента тестирования для вашего проекта — один из лучших способов достижения цели проекта. Следующий пример покажет вам преимущества выбора инструмента тестирования.

В проекте GuruВ банке «99», чтобы сэкономить время на тестировании, проектная группа решила использовать инструмент автоматизированного тестирования для выполнения тестов. После многочисленных совещаний ваша команда выбрала подходящий инструмент для проекта.

Месяц спустя вы получили отчет от команды проекта об этом инструменте.

Результаты великолепны. Новый автоматизированный инструмент удвоил производительность тестирования. Это значит, что мы сэкономили 50% стоимость выполнения теста. Если вы заинтересованы в изучении дополнительных возможностей для своих проектов, ознакомьтесь с этим списком инструменты автоматизированного тестирования.

Это пример преимуществ использования инструмента тестирования в проекте. Правильный выбор инструмента тестирования помогает повысить производительность проекта и снизить его стоимость.

Тип тестовых инструментов

Существует множество типов инструментов тестирования, которые менеджер по тестированию может учитывать при выборе инструментов тестирования.

Инструменты с открытым исходным кодом

Инструменты с открытым исходным кодом — это программы, исходный код которых открыто опубликован для использования и/или модификации оригинального дизайна, бесплатно.

Инструменты с открытым исходным кодом доступны практически для любого этапа процесса тестирования: от Тестовый кейс управление дефект tracкороль. По сравнению с коммерческими инструментами, инструменты с открытым исходным кодом могут иметь меньше функций.

Коммерческие инструменты

Коммерческие инструменты — это программное обеспечение, созданное для продажи или для коммерческих целей.

Коммерческие инструменты имеют большую поддержку и больше функций от поставщика, чем инструменты с открытым исходным кодом.

Пользовательские инструменты

В некоторых проектах по тестированию среда и процесс тестирования имеют особые характеристики. Ни один инструмент с открытым исходным кодом или коммерческий инструмент не может удовлетворить этим требованиям. Поэтому менеджеру по тестированию приходится рассматривать возможность разработки собственного инструмента.

Пример: Вы хотите найти инструмент тестирования для проекта. Guru99 Банк. Вам нужен этот инструмент, отвечающий определенным требованиям проекта.

К какой бы категории вы ни склонялись, следующий вопрос заключается в том, подходят ли ваши тесты вообще для автоматизации.

Анализ осуществимости автоматизации

Возвращаясь к приведенному выше примеру, команда проекта решила разработать собственный инструмент, отвечающий требованиям проекта. Предположим, им дали 100 тестовых примеров для автоматизации, и они оценили 5 дней на разработку инструмента, который может автоматизировать ВСЕ из этих тестовых случаев.

Вот результат их работы

Как и в приведенном выше сценарии, проблема заключается в том, что инструмент тестирования не может автоматизировать все тестовые случаи спецификации теста. Это означает, что не все функции приложения могут быть тщательно проверено с помощью тестового инструмента.

Если функциональность тестируемого приложения часто меняется или слишком сложный, сложно создать автоматизацию тестирования для ВСЕ особенности приложения, ведь каждый инструмент имеет свой недостатки.

Если вы не хотите оказаться в такой ситуации, перед выбором инструмента тестирования вы должны проанализировать тестовые примеры и решить, какие тестовые сценарии следует автоматизировать, а какие нет. Это Анализ осуществимости автоматизации деятельность.

Анализ осуществимости автоматизации вносит очень важный вклад в тестирование. В этом анализе вам необходимо проверить, является ли тестируемое приложение квалифицированный для автоматического теста.

Некоторые факторы, которые вам необходимо учитывать:

Чтобы узнать больше об этих факторах, вы можете использовать контрольный список который включен в эту статью

Как выбрать лучший инструмент для автоматизированного тестирования

Чтобы выбрать наиболее подходящий инструмент тестирования для проекта, менеджер по тестированию должен следовать приведенному ниже процессу выбора инструментов.

Шаг 1) Определите потребность в инструментах

Как выбрать инструмент тестирования, если вы не знаете, что ищете?

Необходимо точно определить требования к инструменту тестирования. Все требования должны быть соблюдены. задокументировала и отзывы проектными командами и правлением.

Рассмотрим следующий пример:

Шаг 2) Оцените инструменты и поставщиков

После определения базовых требований к инструменту руководитель тестирования должен

• Проанализируйте коммерческие инструменты и инструменты с открытым исходным кодом, доступные на рынке, в зависимости от требований проекта.
• Создайте список инструментов что лучше всего соответствует вашим критериям
• Одним из факторов, который вы должны учитывать, является поставщики. Принимая решение, вы должны учитывать репутацию поставщика, послепродажную поддержку, частоту обновления инструментов и т. д.
• Оцените качество инструмента, взяв пробное использование и запуск пилотного проекта. Многие поставщики часто предоставляют для загрузки пробные версии своего программного обеспечения.

Шаг 3) Оцените затраты и выгоды

Для того чтобы инструмент тестирования приносил пользу бизнесу, менеджер по тестированию должен: (баланс) следующие факторы:

A анализ выгоды и затрат следует выполнять перед приобретением или изготовлением инструмента

Пример: После тщательного изучения инструментов тестирования проектная группа нашла идеальный инструмент для тестирования проекта. GuruВеб-сайт 99 Bank. Результаты оценки показали, что этот инструмент может

• Double текущая производительность выполнения тестов
• Уменьшить усилия руководства на 30%

Однако после обсуждения с поставщиком программного обеспечения вы обнаружили, что стоят Цена этого инструмента слишком высока по сравнению с ценность и польза что это может привнести в командную работу.

В таком случае (баланс) Соотношение затрат и выгод от использования инструмента может повлиять на окончательное решение.

Шаг 4) Примите окончательное решение

Для принятия окончательного решения Менеджер по тестированию должен иметь:

• Иметь сильная осведомленность инструмента. Это означает, что вы должны понять, что такое сильный точки и слабый точки инструмента
• Баланс стоимость и выгода.

Даже если вы часами будете читать руководство по программному обеспечению и информацию о поставщике, вам все равно придется опробовать инструмент в реальной рабочей среде, прежде чем покупать лицензию.

Вам следует встретиться с командой проекта, консультантами, чтобы получить более глубокие знания об инструменте.

Ваше решение может отрицательно повлиять на проект, процесс тестирования и бизнес-цели; вам следует хорошо провести время, чтобы хорошенько об этом подумать.

На третьем шаге вам предлагается сопоставить затраты и выгоды. Приведенный ниже расчет преобразует это суждение в число, которое вы можете представить.

Как рассчитать рентабельность инвестиций в автоматизированное тестирование

Обсуждение соотношения затрат и выгод часто заходит в тупик, потому что каждая сторона аргументирует свою точку зрения. Простая цифра рентабельности инвестиций переводит разговор на уровень доказательств, и большинство советов директоров ожидают увидеть таковые, прежде чем одобрить покупку инструмента.

Основное сравнение заключается в сравнении стоимости ручного выполнения тестов с общей стоимостью их автоматизации.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Четыре параметра определяют, будет ли число положительным.

• Частота выполнения: Автоматизация окупается только за счет повторения. Ежедневный запуск тестового пакета приводит к окупаемости гораздо быстрее, чем один запуск за каждый релиз.
• Поддержка скриптов: Именно об этих издержках большинство команд забывают. Нестабильный интерфейс может потребовать больше времени на техническое обслуживание, чем ручное выполнение, которое он заменил, и именно эту ситуацию призван выявить приведенный выше анализ осуществимости.
• Модель лицензирования: Показатели на одного одновременно используемого пользователя, на одного именованного пользователя и разовые бессрочные лицензии дают совершенно разные итоговые значения за три года. Смоделируйте период, в течение которого вы действительно планируете использовать инструмент.
• Преимущества, не связанные с количеством отработанных часов: Более быстрая обратная связь, раннее обнаружение дефектов и освобождение тестировщиков для исследовательской работы имеют реальную ценность. Указывайте их рядом с рисунком, а не пытайтесь втиснуть их туда силой мысли.

💡 Совет: Рассчитайте точку безубыточности, то есть количество циклов, при котором затраты на автоматизацию равны затратам на ручную обработку. Если точка безубыточности находится за пределами срока службы релиза, автоматизация данного пакета программ становится нецелесообразной.tracИнструмент выглядит привлекательно.

Что следует учитывать при выборе инструмента управления тестированием

При таком широком выборе товаров легко запутаться во время покупок.ping Это объективное руководство поможет вам выбрать оптимальный инструмент для управления тестированием. твои нужды.

В этом руководстве я предоставлю вам 5 наиболее важных, но часто игнорируемых параметров при выборе инструмента управления тестированием. Но прежде чем я начну, позвольте мне повторить-

Не сравнивайте яблоко и апельсины

Нет смысла сравнивать SaaS-инструмент стоимостью 30 долларов в месяц с полноценным коммерческим инструментом стоимостью 6000 долларов, если ваш бюджет этого не позволяет. Важно фильтровать свой инструмент с помощью списка, основанного на БЮДЖЕТ первый. Если у вас ограниченный бюджет, открытые источники Это хороший вариант. Хотя коммерческие инструменты дороги, они предлагают отличную поддержку и просты в использовании, а также предоставляют много обучающих материалов.

Следующее, что вам нужно рассчитать, это стоимость вашей лицензии. Для этого вам необходимо оценить продолжительность завершения тестирования и какой метод вы выберете для тестирования. Это поможет вам выяснить, какая модель впишется в ваш бюджет, например, хотите ли вы платить как на каждого зарегистрированного пользователя, одновременного пользователя или постоянного пользователяКак правило, постоянные или разовые затраты выше из-за капитальных вложений. Для некоторых программ требуется лицензия на время выполнения. Не все поставщики поддерживают лицензии на время выполнения, поэтому вам также необходимо учитывать стоимость лицензии на время выполнения, если вы планируете устанавливать ее на разные компьютеры.

После того, как вы определились с выбором в зависимости от бюджета, вот 5 очень важных параметров для сравнения ваших инструментов управления тестированием:

Совет № 1. Инструмент управления тестированием должен повысить производительность

Команды тестирования сталкиваются с серьезными проблемами, связанными с необходимостью идти в ногу с быстрыми технологическими изменениями и тестированием на различных платформах (как в браузерах, так и на устройствах). Поскольку ручное тестирование занимает большую часть времени, одним из способов решения этой проблемы является повышение уровня автоматизации. Но есть и другие области, где можно повысить эффективность инструмента, включая эффективное управление тестовой лабораторией/данными, управление релизами, информативную отчетность и многое другое. Выбор правильного инструмента управления тестированием может значительно помочь улучшить эти параметры.

Давайте посмотрим, что требуется от инструмента управления тестированием с точки зрения производительности.

Детализация тестовой информации

Инструмент управления тестированием должен включать подробные отчеты, касающиеся процесса тестирования. Например, в случае сбоя теста всегда полезно знать, на каком этапе тест провалился, а не знать, что тест провалился целиком. О любых незначительных изменениях, внесенных во время тестирования, инструмент управления тестированием должен информировать соответствующих членов команды. Для удобства отслеживания и быстрого реагирования он также должен вести журнал аудита изменений, включая полное версионирование тестовых случаев. Кроме того, инструмент управления тестированием должен сохранять результаты тестирования в виде сессии и иметь возможность сравнивать результаты выполнения тестов. Другие функции, ожидаемые от стандартного инструмента управления тестированием, включают: документирование стратегии тестирования, планирование выполнения тестов, создание дефектов, связывание историй, и т. д. Функция загрузки видео и поддержка API были бы вишенкой на торте.

Управление релизами Tracking (DevOps)

Выпуск программного обеспечения — сложный процесс, включающий множество этапов (например, trac(контроль версий сборки, координация команды и прозрачность релизов) — всё это происходит одновременно. Хороший инструмент управления тестированием должен обладать надежной системой управления релизами. tracКлючевая функция, позволяющая вести учет списка тестируемого и выпускаемого программного обеспечения, чтобы избежать конфликтов с другими тестовыми артефактами. Кроме того, она должна обеспечивать управление всеми артефактами проекта в единой среде.

Инструмент управления тестированием должен предоставлять единое представление требований для всех заинтересованных сторон. Сотрудничество с заинтересованными сторонами гарантирует правильное определение требований. Инструмент должен обладать следующими возможностями: tracвзаимосвязь между другими активами и требованиями в процессе разработки.

Для распределенных команд он должен предоставить единый общий репозиторий для совместной работы и обмена требованиями, оценки связанных дефектов и понимания их связи с тестами.

Для обеспечения качества и согласованности ваш инструмент управления тестированием должен обеспечивать стандартизацию.

Отчетность

Это настоящий хаос, если ваша команда тестировщиков знает, сколько дефектов открыто в релизе, но не знает, сколько времени потребуется на их устранение. Для мониторинга тестовой активности инженеры-тестировщики в значительной степени полагаются на отчеты, генерируемые инструментом управления тестированием. Надежный инструмент управления тестированием должен предоставлять в своих отчетах следующую информацию: ход выполнения плана тестирования, статус создания тестового набора, тестовый набор не пройден и пройден, статус теста по пакетам, статус теста по области, тестовый сценарий, который необходимо автоматизировать, и так далее

Ваш инструмент управления тестированием должен обеспечивать полную видимость деятельности разработчиков и процессов жизненного цикла — от управления требованиями до тестирования и исправления дефектов.

Хороший инструмент управления тестированием должен включать следующие атрибуты:

• График и информационная панель должны давать представление о том, сколько ваших автоматических тестов выполнено или ожидает выполнения.
• Следует выделить общие атрибуты тестирования, такие как количество пройденных/неудачных/пропущенных тестовых случаев, рабочая нагрузка пользователя и т. д.
• Принимать решение о готовности каждого релиза
• Просматривайте свои автоматические тесты вместе с результатами ручных тестов.

Совет № 2. Гибкая поддержка

В современном рынке спрос на гибкие методологии постоянно растет, и с каждым днем ​​он увеличивается. Важно, чтобы ваш инструмент управления тестированием поддерживал гибкую методологию. В гибкой разработке требования изменчивы и выполняются поэтапно, поэтому ваш инструмент управления тестированием должен быть способен учитывать такие требования. Выбранный вами инструмент управления тестированием должен способствовать тесному сотрудничеству между разработчиками, тестировщиками и другими заинтересованными сторонами (основной принцип гибкой разработки).

Инструмент управления тестированием Agile должен поддерживать

• Создание историй
• оценка
• Sprint планирование отставания
• Графики скоростей и другие отчеты и т. д.
• Скрам и Канбан

В гибкой среде разработки сравнение результатов выполнения тестов с помощью инструмента управления тестированием будет продуктивным, если вы анализируете изменения в количестве дефектов за итерацию. Кроме того, в гибкой среде инструмент управления тестированием должен вести учет релизов продукта для каждой итерации и бэклога.

Совет №3. Внешняя интеграция.

Автоматизированное выполнение тестовых примеров может значительно снизить нагрузку на инженеров по тестированию. Вам следует выбрать инструмент управления тестированием, который легко интегрируется с инструменты автоматизацииОбратите внимание на возможность управления тестовыми сценариями, а также планирования и запуска тестов как локально, так и на удаленном хосте. Кроме того, желательно наличие возможности сохранения результатов автоматизированного тестирования в инструменте управления тестированием. Ваш инструмент управления тестированием должен поддерживать непрерывная интеграция. Основное преимущество инструмента управления тестированием с CI заключается в том, что тесты запускаются автоматически. Запуск может быть инициирован чем угодно, например коммитом исходного кода от разработчика, тестовым примером с базовой автоматизацией тестирования или запланированной задачей на определенное время. Непрерывная интеграция различается по времени, деталям, направлению и степени детализации.

Для любой команды контроля качества интеграция ошибка tracкороль инструмент Значительно упрощает процесс тестирования. Стандартный инструмент управления тестированием, который легко интегрируется с жизненным циклом разработки программного обеспечения (SDLC), приложениями или другими инструментами для обнаружения ошибок. tracТакие инструменты, как JIRA, BugZilla, Mantis, значительно повышают ценность системы. Они должны позволять пользователям связывать ошибки с экземплярами выполнения тестовых сценариев для централизованного управления процессом тестирования программного обеспечения. Также они должны позволять всей команде проекта одновременно работать над одной задачей.

Интеграция вашего система службы поддержки Это важная функция, которую должен предоставлять любой инструмент управления тестированием. Программное обеспечение для службы поддержки, или, как его еще называют, система обработки заявок, помогает пользователям получать мгновенное решение своих проблем. Оно позволяет клиентам получать обзор всех открытых и закрытых вопросов.

API Желательна поддержка пользовательских интеграций.

Совет № 4. Мобильный телефон

Ваш инструмент управления тестированием должен поддерживать мобильные устройства и планшеты.

Мобильная поддержка чрезвычайно полезна для команд, которые находятся у клиента, а не за столом, или для менеджеров, работающих с командами в разных географических точках.

Инструмент управления тестированием должен иметь полный (не сокращенный) набор функций, доступный на мобильных устройствах.

Поддержка нескольких устройств и мобильных ОС важна, поскольку с увеличением количества устройств возникает больше сложностей, таких как местоположение, жесты, акселерометры и проблемы с ориентацией. В конце концов, вы никогда не покупаете телефон, думая, что он совместим с вашим инструментом управления тестированием!

Совет №5 Поддержка

Служба поддержки поставщика инструмента управления тестированием должна стремиться помогать своим клиентам всеми возможными способами. Многие инструменты управления тестированием больше ориентированы на создание привлекательных веб-сайтов и рекламы.tracЧтобы привлечь больше клиентов, им необходимо сосредоточиться на предоставлении наилучшей поддержки. Но для обеспечения непрерывного и повторного сотрудничества им нужно сосредоточиться на предоставлении наилучшей службы технической поддержки.

Лучший инструмент управления тестированием должен иметь такие функции, как чат в реальном времени, телефонный звонок, часто задаваемые вопросы и онлайн-руководства пользователя, информация о документации по продукту, база знаний, обращение в службу поддержки, и т. д., чтобы помочь своим клиентам.

Многие инструменты управления тестированием также способствуют живая видеоконференция Для решения вопросов клиентов необходимо заручиться поддержкой экспертов по инструментам. Если проведение очной конференции невозможно, то демонстрации или записанные видеоролики, связанные с инструментом управления тестированием, должны быть всегда доступны на месте и к ним можно получить доступ в любое время. Что касается разработчиков, то если инструмент предоставляет API или поддержку пользовательской интеграции, необходимо предоставить демонстрационный скрипт и подробную документацию.

Хотя все вышеперечисленные каналы поддержки могут быть доступны не для всех инструментов, вам следует выбрать инструмент, который предоставит вам «привилегированный» Поддержка канала.

Еще один важный и часто забываемый параметр – является ли поставщик инструмента Ориентированных на клиента? Вот несколько вещей, которые следует учитывать при выборе инструмента управления тестированием:

• Интерфейс инструмента должен быть удобным для пользователя и включать функцию интеграции с клиентами.
• Он должен поддерживать несколько языков и несколько часовых поясов.
• Он должен иметь возможность расширенного поиска.

Надеюсь, это руководство поможет вам выбрать инструмент, который лучше всего соответствует вашим потребностям в тестировании! Для более полного управления жизненным циклом вашего приложения вы можете изучить эти Инструменты ALM.

Часто задаваемые вопросы (FAQ)