Как выбрать лучший инструмент для автоматизированного тестирования?

В статье Улучшение процесса тестирования, вы узнали точки улучшения от проекта Guru99 Bank. Он использует автоматизированный Тестирование вместо Ручное тестирование. Но члены команды могут спросить вас:

Ответить на этот вопрос сложно, поскольку необходимо учитывать множество факторов.

• Вы хотите поддержать свою деятельность по тестированию с помощью программного инструмента, но не знаете инструментов, доступных в настоящее время на рынке.
• Какой тип инструмента лучше всего соответствует требованиям и бюджету проекта?
• Кто в команде обладает навыками использования инструмента после его приобретения?

Важность выбора инструмента тестирования программного обеспечения

Успех в любой автоматизации тестирования зависит от выбора правильного инструмента для автоматизации. Выбор «правильного» инструмента тестирования для вашего проекта — один из лучших способов достижения цели проекта. Следующий пример покажет вам преимущества выбора инструмента тестирования.

В проекте Guru99 Bank, чтобы сэкономить усилия на тестировании, команда проекта решила использовать автоматизированный инструмент тестирования для выполнения тестов. После многих встреч ваша команда выбрала подходящий инструмент для проекта.

Месяц спустя вы получили отчет от команды проекта об этом инструменте.

Результаты великолепны. Новый автоматизированный инструмент удвоил производительность тестирования. Это значит, что мы сэкономили 50% стоимость выполнения теста. Если вы заинтересованы в изучении дополнительных возможностей для своих проектов, ознакомьтесь с этим списком инструменты автоматизированного тестирования.

Это пример преимуществ использования инструмента тестирования в проекте. Выбор правильного инструмента тестирования поможет вам повысить производительность проекта и сэкономить его стоимость.

Тип тестовых инструментов

Существует множество типов инструментов тестирования, которые Менеджер тестирования может учитывать при выборе инструментов тестирования.

Инструменты с открытым исходным кодом

Инструменты с открытым исходным кодом — это программы, исходный код которых открыто опубликован для использования и/или модификации оригинального дизайна, бесплатно.

Инструменты с открытым исходным кодом доступны практически для любого этапа процесса тестирования: от Тестовый кейс управление дефект отслеживание. По сравнению с коммерческими инструментами инструменты с открытым исходным кодом могут иметь меньше функций.

Коммерческие инструменты

Коммерческие инструменты — это программное обеспечение, созданное для продажи или для коммерческих целей.

Коммерческие инструменты имеют большую поддержку и больше функций от поставщика, чем инструменты с открытым исходным кодом.

Пользовательские инструменты

В некоторых проектах тестирования среда тестирования и процесс тестирования имеют особые характеристики. Ни один инструмент с открытым исходным кодом или коммерческий инструмент не может удовлетворить этому требованию. Поэтому руководитель тестирования должен рассмотреть возможность разработки специального инструмента.

Пример: вы хотите найти инструмент тестирования для проекта Guru99 Bank. Вы хотите, чтобы этот инструмент отвечал каким-то конкретным требованиям проекта.

Анализ осуществимости автоматизации

Возвращаясь к приведенному выше примеру, команда проекта решила разработать собственный инструмент, отвечающий требованиям проекта. Предположим, им дали 100 тестовых примеров для автоматизации, и они оценили 5 дней на разработку инструмента, который может автоматизировать ВСЕ из этих тестовых случаев.

Вот результат их работы

Как и в приведенном выше сценарии, проблема заключается в том, что инструмент тестирования не может автоматизировать все тестовые случаи спецификации теста. Это означает, что не все функции приложения могут быть тщательно проверено с помощью тестового инструмента.

Если функциональность тестируемого приложения часто меняется или слишком сложный, сложно создать автоматизацию тестирования для ВСЕ особенности приложения, ведь каждый инструмент имеет свой недостатки.

Если вы не хотите оказаться в такой ситуации, перед выбором инструмента тестирования вы должны проанализировать тестовые примеры и решить, какие тестовые сценарии следует автоматизировать, а какие нет. Это Анализ осуществимости автоматизации деятельность.

Анализ осуществимости автоматизации вносит очень важный вклад в тестирование. В этом анализе вам необходимо проверить, является ли тестируемое приложение квалифицированный для автоматического теста.

Некоторые факторы, которые вам необходимо учитывать:

Чтобы узнать больше об этих факторах, вы можете использовать контрольный список который включен в эту статью

Как выбрать лучший инструмент для автоматизированного тестирования

Чтобы выбрать наиболее подходящий инструмент тестирования для проекта, менеджер по тестированию должен следовать приведенному ниже процессу выбора инструментов.

Шаг 1) Определите потребность в инструментах

Как выбрать инструмент тестирования, если вы не знаете, что ищете?

Вы сможете точно определить требования к своему испытательному инструменту. Все требования должны быть задокументировала и отзывы проектными командами и правлением.

Рассмотрим следующий пример:

Шаг 2) Оцените инструменты и поставщиков

После определения базовых требований к инструменту руководитель тестирования должен

• Проанализируйте коммерческие инструменты и инструменты с открытым исходным кодом, доступные на рынке, в зависимости от требований проекта.
• Создайте список инструментов что лучше всего соответствует вашим критериям
• Одним из факторов, который вы должны учитывать, является поставщики. Принимая решение, вы должны учитывать репутацию поставщика, послепродажную поддержку, частоту обновления инструментов и т. д.
• Оцените качество инструмента, взяв пробное использование и запуск пилотного проекта. Многие поставщики часто предоставляют для загрузки пробные версии своего программного обеспечения.

Шаг 3) Оцените затраты и выгоды

Чтобы инструмент тестирования был полезен для бизнеса, менеджер по тестированию должен (баланс) следующие факторы:

A анализ выгоды и затрат следует выполнять перед приобретением или изготовлением инструмента

Пример: Потратив значительное время на изучение инструментов тестирования, команда проекта нашла идеальный инструмент тестирования для веб-сайта проекта Guru99 Bank. Результаты оценки пришли к выводу, что этот инструмент может

• Double текущая производительность выполнения тестов
• Уменьшить усилия руководства на 30%

Однако после обсуждения с поставщиком программного обеспечения вы обнаружили, что стоят этого инструмента слишком высока по сравнению с ценностное и польза что это может привнести в командную работу.

В таком случае (баланс) между стоимостью и выгодой от инструмента может повлиять на окончательное решение.

Шаг 4) Примите окончательное решение

Для принятия окончательного решения Менеджер по тестированию должен иметь:

• Иметь сильная осведомленность инструмента. Это означает, что вы должны понять, что такое сильный точки и слабый точки инструмента
• Баланс стоимость и выгода.

Даже если вы часами будете читать руководство по программному обеспечению и информацию о поставщике, вам все равно придется опробовать инструмент в реальной рабочей среде, прежде чем покупать лицензию.

Вам следует встретиться с командой проекта, консультантами, чтобы получить более глубокие знания об инструменте.

Ваше решение может отрицательно повлиять на проект, процесс тестирования и бизнес-цели; вам следует хорошо провести время, чтобы хорошенько об этом подумать.

Что следует учитывать при выборе инструмента управления тестированием

Благодаря широкому выбору доступных вариантов легко запутаться при покупке инструмента управления тестированием. Это беспристрастное руководство, которое поможет вам найти лучший инструмент согласно твои нужды.

В этом руководстве я предоставлю вам 5 наиболее важных, но часто игнорируемых параметров при выборе инструмента управления тестированием. Но прежде чем я начну, позвольте мне повторить-

Не сравнивайте яблоко и апельсины

Нет смысла сравнивать SaaS-инструмент стоимостью 30 долларов в месяц с полноценным коммерческим инструментом стоимостью 6000 долларов, если ваш бюджет этого не позволяет. Важно фильтровать свой инструмент с помощью списка, основанного на БЮДЖЕТ первый. Если у вас ограниченный бюджет, открытые источники это хороший вариант. Хотя коммерческие инструменты стоят дорого, они предлагают отличную поддержку и просты в использовании, а также содержат большое количество обучающих материалов.

Следующее, что вам нужно рассчитать, это стоимость вашей лицензии. Для этого вам необходимо оценить продолжительность завершения тестирования и какой метод вы выберете для тестирования. Это поможет вам выяснить, какая модель впишется в ваш бюджет, например, хотите ли вы платить как на каждого зарегистрированного пользователя, одновременного пользователя или постоянного пользователя. Обычно постоянные или единовременные затраты выше из-за капитальных затрат. Для определенного программного обеспечения вам потребуется лицензия времени выполнения. Не все поставщики поддерживают лицензии времени выполнения, поэтому вам необходимо учитывать расходы на лицензию времени выполнения, даже если вы планируете устанавливать его на разные машины.

После того, как вы определились с выбором в зависимости от бюджета, вот 5 очень важных параметров для сравнения ваших инструментов управления тестированием:

Совет № 1. Инструмент управления тестированием должен повысить производительность

Команды тестирования сталкиваются с серьезными проблемами, пытаясь идти в ногу с быстрыми технологическими изменениями и необходимостью тестирования на нескольких платформах (как в браузерах, так и на устройствах). Поскольку ручное тестирование занимает большую часть времени тестирования, одним из способов решения этой проблемы является усиление автоматизации. Но есть и другие области повышения эффективности инструмента, в том числе эффективное управление тестовой лабораторией/данными, управление выпусками, содержательная отчетность и многое другое. ChoIt, потерявший правильный инструмент управления тестированием, может оказать огромную помощь в улучшении этих параметров.

Давайте посмотрим, что требуется от инструмента управления тестированием с точки зрения производительности.

Детализация тестовой информации

Инструмент управления тестированием должен включать подробные информационные отчеты, относящиеся к процессу тестирования. Например, в случае неудачного тестового набора всегда полезно знать, на каком этапе тест завершился неудачно, вместо того, чтобы знать, что тестовый сценарий не пройден в целом. Какие бы незначительные изменения ни применялись во время тестирования, инструмент управления тестированием должен информировать об изменениях соответствующих членов команды. Для облегчения последующих действий и быстрого принятия мер необходимо также вести контрольный журнал изменений, включая полное управление версиями тестовых примеров. Кроме того, инструмент управления тестированием должен сохранять результаты тестирования в виде сеанса и иметь возможность сравнивать результаты запуска тестов. Другие функции, которые ожидаются от стандартных инструментов управления тестированием: документирование стратегии тестирования, планирование выполнения тестов, создание дефектов, связывание историй, и т. д. Функция загрузки видео и поддержка API были бы вишенкой на торте.

Отслеживание управления релизами (DevOps)

Выпуски программного обеспечения сложны, поскольку множество действий (например, отслеживание версии сборки, координация команды и прозрачность выпусков) происходят одновременно. Хороший инструмент управления тестированием должен иметь надежную возможность отслеживания управления выпусками, которая ведет учет списка тестируемого и выпускаемого программного обеспечения, чтобы он не конфликтовал с другими артефактами тестирования. Кроме того, он должен иметь возможность управлять всеми артефактами проекта в одной среде.

Инструмент управления тестированием должен обеспечивать единое представление требований для всех заинтересованных сторон. Сотрудничество с заинтересованными сторонами гарантирует, что будут учтены правильные требования. Инструмент должен иметь возможность отслеживать связи между другими ресурсами разработки и требованиями.

Для распределенных команд он должен предоставить единый общий репозиторий для совместной работы и обмена требованиями, оценки связанных дефектов и понимания их связи с тестами.

Для обеспечения качества и согласованности ваш инструмент управления тестированием должен обеспечивать стандартизацию.

Отчетность

Это хаос, если ваша группа тестирования знает, сколько дефектов открыто в релизе, но не знает, сколько времени потребуется на их устранение. Чтобы контролировать деятельность по тестированию, инженеры по тестированию в значительной степени зависят от отчетов, создаваемых инструментом управления тестированием. Надежный инструмент управления тестированием должен предоставлять в своих отчетах следующую информацию, например ход выполнения плана тестирования, статус создания тестового набора, тестовый набор не пройден и пройден, статус теста по пакетам, статус теста по области, тестовый сценарий, который необходимо автоматизировать, и так далее

Ваш инструмент управления тестированием должен обеспечивать полную видимость деятельности разработчиков и процессов жизненного цикла — от управления требованиями до тестирования и исправления дефектов.

Хороший инструмент управления тестированием должен включать следующие атрибуты:

• График и информационная панель должны давать представление о том, сколько ваших автоматических тестов выполнено или ожидает выполнения.
• Следует выделить общие атрибуты тестирования, такие как количество пройденных/неудачных/пропущенных тестовых случаев, рабочая нагрузка пользователя и т. д.
• Принимать решение о готовности каждого релиза
• Просматривайте свои автоматические тесты вместе с результатами ручных тестов.

Совет № 2. Гибкая поддержка

Спрос на Agile на современном рынке растет, и он становится больше с каждым днем. Важно, чтобы ваш инструмент управления тестированием поддерживал гибкую методологию. В Agile требования изменяемы и выполняются постепенно, ваш инструмент управления тестированием должен быть в состоянии удовлетворить такие требования. Выбранный вами инструмент управления гибким тестированием должен способствовать глубокому партнерству между разработчиками, тестировщиками и другими заинтересованными сторонами (основной принцип гибкой разработки).

Инструмент управления тестированием Agile должен поддерживать

• Создание историй
• оценка
• Sprint планирование отставания
• Графики скоростей и другие отчеты и т. д.
• Скрам и Канбан

В среде Agile сравнение запусков тестов с помощью инструмента управления тестированием будет продуктивным, если вы смотрите на изменения количества дефектов за итерацию. Также для Agile инструмент управления тестированием должен будет вести учет выпуска продукта для каждой итерации и журнала невыполненных работ.

Совет №3. Внешняя интеграция.

Автоматизированное выполнение тестовых примеров может значительно снизить нагрузку на инженеров по тестированию. Вам следует выбрать инструмент управления тестированием, который легко интегрируется с инструменты автоматизации. Ищите возможность управлять тестовыми сценариями, а также планировать и запускать тесты как локально, так и на удаленном хосте. Кроме того, желательна возможность сохранять результаты автоматизированных тестов в инструменте управления тестированием. Ваш инструмент управления тестированием должен поддерживать непрерывная интеграция. Основное преимущество инструмента управления тестированием с CI заключается в том, что тесты запускаются автоматически. Запуск может быть инициирован чем угодно, например коммитом исходного кода от разработчика, тестовым примером с базовой автоматизацией тестирования или запланированной задачей на определенное время. Непрерывная интеграция различается по времени, деталям, направлению и степени детализации.

Для любой команды контроля качества интеграция инструмент отслеживания ошибок делает процесс тестирования очень простым. Стандартный инструмент управления тестированием, который легко интегрируется с приложением SDLC или другими инструментами отслеживания ошибок, такими как JIRA, BugZilla, Mantis, повышает ценность этого инструмента. Он должен позволять пользователям связывать ошибки, запускать экземпляр тестового сценария для централизованного управления процессом тестирования вашего программного обеспечения. Это также должно позволить всей команде проекта одновременно работать вместе над одной проблемой.

Интеграция вашего система службы поддержки — важная функция, которую должен обеспечивать любой инструмент управления тестированием. Программное обеспечение службы поддержки, или иначе известное как система заявок, помогает пользователям мгновенно решить свою проблему. Это помогает клиентам получить обзор всех открытых и закрытых проблем.

API Желательна поддержка пользовательских интеграций.

Совет № 4. Мобильный телефон

Ваш инструмент управления тестированием должен поддерживать мобильные устройства и планшеты.

Мобильная поддержка чрезвычайно полезна для команд, которые находятся у клиента, а не за столом, или для менеджеров, работающих с командами в разных географических точках.

Инструмент управления тестированием должен иметь полный (не сокращенный) набор функций, доступный на мобильных устройствах.

Поддержка нескольких устройств и мобильных ОС важна, поскольку с увеличением количества устройств возникает больше сложностей, таких как местоположение, жесты, акселерометры и проблемы с ориентацией. В конце концов, вы никогда не покупаете телефон, думая, что он совместим с вашим инструментом управления тестированием!

Совет №5 Поддержка

Команда поддержки поставщика инструментов управления тестированием должна стремиться помочь своим клиентам всеми возможными способами. Многие инструменты управления тестированием больше ориентированы на создание глянцевых веб-сайтов и рекламы для привлечения большего количества клиентов. Но для непрерывного и повторяющегося бизнеса им необходимо сосредоточиться на предоставлении лучшей службы поддержки.

Лучший инструмент управления тестированием должен иметь такие функции, как чат в реальном времени, телефонный звонок, часто задаваемые вопросы и онлайн-руководства пользователя, информация о документации по продукту, база знаний, обращение в службу поддержки, и т. д., чтобы помочь своим клиентам.

Многие инструменты управления тестированием также облегчают живая видеоконференция с экспертами по инструментам для решения запросов клиентов. Если живая конференция невозможна, то демонстрации или записанные видеоролики, связанные с инструментом управления тестированием, должны быть всегда доступны на месте и к ним можно получить доступ в любое время. В то время как для разработчиков, если инструмент предоставляет API или поддержку пользовательской интеграции, необходимо предоставить демонстрационный сценарий и подробную документацию.

Хотя все вышеперечисленные каналы поддержки могут быть доступны не для всех инструментов, вам следует выбрать инструмент, который предоставит вам «привилегированный» Поддержка канала.

Еще один важный и часто забываемый параметр – является ли поставщик инструмента Ориентированных на клиента? Вот несколько вещей, которые следует учитывать при выборе инструмента управления тестированием:

• Интерфейс инструмента должен быть удобным для пользователя и включать функцию интеграции с клиентами.
• Он должен поддерживать несколько языков и несколько часовых поясов.
• Он должен иметь возможность расширенного поиска.

Надеюсь, это руководство поможет вам выбрать инструмент, который лучше всего соответствует вашим потребностям в тестировании! Для более полного управления жизненным циклом вашего приложения вы можете изучить эти Инструменты ALM.