Что такое эталонное тестирование?
Томас Гамильтон
⚡ Умное резюме
Бенчмарк-тестирование устанавливает воспроизводимый, измеримый стандарт производительности приложения, позволяющий сравнивать его с каждым будущим релизом. Без базового уровня результат производительности — это просто число, по которому не с чем сравнивать.
Прежде чем мы начнем изучать эталонное тестирование, давайте поймем:
Эталон тестирования производительности
A Эталон тестирования производительности — это метрика или точка отсчета, с которой можно сравнивать программные продукты или услуги для оценки показателей качества. Другими словами, бенчмарк означает установленный стандарт, который помогает определить качество программного продукта или услуги. Мы можем протестировать программный продукт или услугу, чтобы оценить его качество.
Например, в футбольной команде есть критерий, по которому игрок может квалифицироваться как игрок. игрок премьер-лиги. Набором навыков для эталона может быть количество голов, забитых за последние пять сезонов, или владение мячом в первом тайме, или минимальное количество игр, сыгранных в местном турнире, и т. д.
Что такое эталонное тестирование?
Контрольное тестирование измеряет повторяемый набор поддающихся количественной оценке результатов, который служит точкой отсчета, с которой можно сравнивать продукты/услуги. Целью результатов эталонного тестирования является сравнение нынешних и будущих выпусков программного обеспечения с соответствующими тестами.
Эталон должен быть повторяемый. Например, если при каждой итерации нагрузочного теста время отклика сильно различается, необходимо оценить производительность системы. Время отклика должно быть стабильным при различных условиях нагрузки.
Эталон должен быть количественному. Например, пользовательский опыт нельзя выразить количественно, но время, которое пользователь проводит на веб-странице благодаря хорошему пользовательскому интерфейсу, можно измерить количественно.
Бенчмарк-тестирование — это термин, относящийся не только к тестированию программного обеспечения, но и к тестированию оборудования. и считается одной из важнейших задач в деловом мире.
В этом уроке мы обсудим тесты для клиент-серверного приложения или, другими словами, веб-приложения. Тестирование производительности может быть проведено для следующих сервисов:
- Совместимость с браузером
- Broken Links
- Соответствие HTML
- Время загрузки
- Доступность
- Популярность ссылок
Почему важно проводить бенчмарк-тестирование?
На уровне бизнеса бенчмарк-тестирование может быть полезным для определения
- Насколько хорошо веб-приложение работает по сравнению с конкурентами
- Как разные типы клиентов оценивают время отклика и доступность сайта
- Это гарантирует, что веб-сайты соответствуют стандартам и лучшим практикам.
- Это позволяет оценить сторонних поставщиков услуг до принятия решения о сотрудничестве.tracрешение
- Позволяет выяснить ошибки, которых следует избегать.
Создание плана эталонного тестирования
План тестирования является наиболее важным элементом процесса эталонного тестирования. План эталонного тестирования состоит из следующих шагов:
- Масштабирование и вызов рабочей нагрузки
- Собирайте и храните показатели для эталонного тестирования.
- Определите требуемый промежуток времени и конечную точку процесса тестирования.
- Подготовьте резервный план для преодоления любого сбоя нового тестового сценария.
- Определите полномочия для вызова завершения процесса завершения.
Как провести эталонное тестирование
Эталонное тестирование состоит из 4 этапов:
Шаг 1) Фаза планирования
- Определение и определение приоритетности стандартов и требований
- Определите критерии сравнения
- Определить процесс эталонного тестирования
Шаг 2) Фаза анализа
- Определите основную причину ошибки, чтобы улучшить качество.
- Постановка целей для процесса тестирования
Шаг 3) Фаза интеграции
- Поделитесь результатами с заинтересованным лицом и получите одобрение
- Установите функциональные цели
Шаг 4) Фаза действия
- Разработать план тестирования и документацию.
- Реализуйте действия, указанные на предыдущих этапах, и отслеживайте прогресс.
- Запускайте процесс непрерывно
Компоненты эталонного тестирования
Различные системы имеют разную степень сложности и требуют разных методов тестирования приложений.
Существует три основных компонента эталонного тестирования. Они есть
- Характеристики рабочей нагрузки: Определение типа и частоты запросов, которые будут отправляться в тестируемую систему.
- Характеристики метрик: Определите, какой элемент нужно измерить, например; Скорость загрузки
- Спецификация измерения: Определение способа измерения указанных элементов для нахождения подходящих значений.
Что следует учитывать при проведении бенчмарк-тестирования
Для проведения успешного эталонного тестирования необходимо учитывать следующие факты.
- Последовательность и контроль являются важными мерами для проведения эталонного тестирования.
- Понимание архитектуры системы для разработки критериев тестирования и тестовых данных.
- Изучите исходные статические данные и обновите их в зависимости от количества пользователей.
- Проверьте наличие функции «Сброс», где это необходимо, и определите скорость транзакций в секунду (в частности, это касается транзакций пользователей в базе данных).
- Разделите элементы системы в соответствии с их функциональными возможностями.
- Каждая система имеет различную архитектуру и дизайн, которые необходимо учитывать при проведении эталонного тестирования.
- Убедитесь, что все компоненты программного обеспечения находятся в рабочем состоянии.
- Операционная система и поддерживающие драйверы должны работать корректно.
- Удалите предварительную выборку и временные файлы из системы перед запуском теста.
- Закройте все процессы и приложения, работающие в фоновом режиме.
- Проверьте наличие обновлений операционных систем и реальных конфигураций.
Платформы эталонного тестирования
Платформы эталонного тестирования помогают выполнять некоторые фундаментальные задачи по проверке производительности. Эти фундаментальные задачи включают в себя:
- Доступ к базе данных
- Серверная композиция
- Сериализация JSON
- Конфигурация
Эталонная платформа 2.0 & TechEmpower в основном используются среды эталонного тестирования.
Давайте посмотрим на TechEmpower. Мы кратко рассмотрим его основные особенности.
- Это платформа с открытым исходным кодом для выполнения эталонных задач.
- Требуется правильная конфигурация среды сравнительного тестирования.
- В основном есть два режима, такие как Тестовый режим для сравнения результатов и Режим проверки для тех, кто не эксперт
- Требуется несколько файлов, которые уникальны и могут варьироваться от системы к системе соответственно.
- Он включает в себя «Файл конфигурации тестирования», который определяет набор тестовых инструкций и метаданных для программы тестирования.
- Он основан на нескольких языках, таких как Java, Python, Руби, PHP, JavaСкрипт, Perl, C, Groovy, Haskell, Scala и т. д.
- Объект — реляционный картограф (ORM) используется для выполнения тестов баз данных, сериализации JSON и т. д.
Инструменты эталонного тестирования
Инструменты эталонного тестирования классифицируются соответствующим образом. Мы будем зачисляться по одному.
Инструменты для тестирования Windows ПК:
Инструменты для тестирования производительности процессора:
- CinebEnch
- Geekbench
Инструменты для тестирования скорости системы и аккумуляторов мобильных устройств:
- Фороникс (Linux)
- ЦП UserBenchmark (тест процессора)
- Велламо (производительность просмотра веб-страниц)
Сравнительное тестирование также можно выполнить с помощью Android телефоны и планшеты. Из всех, Проходной балл — это хорошо известный и широко используемый инструмент эталонного тестирования.
Как этот тест вписывается в семейство тестов производительности
Испытания на производительность — это общий термин. Варианты, описанные ниже, отличаются только формой приложенной нагрузки и продолжительностью её удержания, поэтому их так часто путают друг с другом.
| Тип теста | Схема нагрузки | Вопрос, на который он отвечает |
|---|---|---|
| Тестирование нагрузки | Ожидаемая пиковая нагрузка, кратковременная | Достигает ли система поставленных целей при нормальной пиковой нагрузке? |
| Стресс-тестирование | Доведено до предела возможностей до отказа | Где происходит сбой, и происходит ли он корректно? |
| Пиковое тестирование | Внезапный резкий всплеск, затем спад | Выдерживает ли оно и восстанавливается ли после дорожно-транспортного происшествия? |
| Испытание на выносливость | Нормальная нагрузка удерживалась в течение многих часов. | Снижается ли производительность со временем? |
| Тестирование на замачивание | Постоянная нагрузка в течение длительного периода времени | Наблюдаются ли утечки памяти или истощение ресурсов? |
| Тестирование стабильности | Изменение нагрузки в зависимости от условий | Сохраняет ли система свою надежность при изменении условий? |
| Объемное тестирование | Обычные пользователи, очень большой объем данных | Справится ли система с ростом базы данных? |
Испытания на выносливость и испытания на замачивание часто рассматриваются как синонимы. В обиходе они описываются следующим образом: оба теста выдерживают постоянную нагрузку в течение длительного периода времени. Там, где команды различают их, тестирование на выносливость фокусируется на том, увеличивается ли время отклика, в то время как тестирование на длительную нагрузку фокусируется на потреблении ресурсов, таких как память, файловые дескрипторы и пулы соединений. Запуск одного из тестов обычно дает данные по обоим.
Сравнительное тестирование: основные выводы
- В разработке программного обеспечения эталонное тестирование дает повторяемый набор поддающихся количественной оценке результатов производительности системы.
- Полезно для проверки условий нагрузки и определения поведения системы против DDoS-атак.
- Спецификации рабочей нагрузки, метрики и спецификации измерений являются основными компонентами эталонного тестирования.
- Для быстрого и эффективного проведения эталонного тестирования используется несколько инструментов и платформ.
- Бенчмарк-тестирование также полезно и для мобильных устройств.
