Тестирование стабильности при тестировании программного обеспечения

Что такое тестирование стабильности?

Тестирование стабильности это тип нефункционального тестирования программного обеспечения, проводимый для измерения эффективности и способности программного приложения непрерывно функционировать в течение длительного периода времени. Целью тестирования стабильности является проверка того, происходит ли сбой или сбой программного приложения при обычном использовании в любой момент времени, используя полный диапазон его использования.

Тестирование стабильности проводится для проверки эффективности разработанного продукта, превышающей нормальные эксплуатационные возможности, часто до точки останова. Большее значение имеет обработка ошибок, надежность программного обеспечения, надежность и масштабируемость продукта при большой нагрузке, а не проверка поведения системы в нормальных обстоятельствах.

Тестирование стабильности позволяет оценить проблемы со стабильностью. Это тестирование в первую очередь предназначено для максимальной нагрузки на программный компонент. Это нефункциональная техника.

Тестирование стабильности также называется нагрузочным или испытание на выносливость.

Риски, если тестируемая система не прошла тест на стабильность

Для тестируемого приложения, в котором задействовано большое количество пользователей, и приложений, которые должны работать месяцами без перезапуска, вероятно возникновение ряда проблем:

Возможную ошибку можно встретить,

• система замедляется
• система сталкивается с проблемами функциональности
• система показывает проводное поведение
• система вообще рушится

В области разработки программного обеспечения, Тестирование стабильности обычно включает в себя тестирование системы с активными пользователями (виртуальное) и измерение параметров производительности, чтобы проверить, может ли система выдержать ожидаемую нагрузку.

Зачем проводить тестирование стабильности

Этот вид тестирования помогает пользователям понять, как система будет работать в реальных ситуациях.

Следовательно, тестирование стабильности позволяет вам проверить:

• Обеспечьте уверенность в стабильности тестируемой системы.
• Убедитесь, что ваша система может обрабатывать большие программы.
• Контролируйте эффективность вашей системы.
• Проверка стабильности системы в условиях стресса.

Он играет важную роль в разработке продукта, поскольку используется для определения ограничений тестируемого программного продукта до его выпуска или областей, требующих дальнейшего улучшения, прежде чем продукт будет запущен в эксплуатацию или в производство.

Очень распространенным примером метода тестирования стабильности является

Online Sхмельping Portals: Тестирование стабильности проверит, как веб-сайт будет вести себя, когда:

• Большой объем данных, вводимых в часы пик
• Количество обращений в определенное время
• Проблема с загрузкой страницы одновременно
• Поведение системы
• Отзывчивость системы и многое другое подпадает под действие Тестирование стабильности

Другой пример

A ЦП тест — популярная форма проверки стабильности под Тестирование производительности техника. Этот тест проверяет стабильность процессора, а также отслеживает его производительность по мере увеличения рабочей нагрузки процессора.

Как провести тестирование стабильности

• Чтобы определить объем и цель тестирования, мы должны гарантировать, что сервер(ы) приложений не выйдет из строя во время выполнения нагрузочного теста.
• Чтобы определить проблемы бизнеса, проверьте производительность системы и загрузку с точки зрения конечного пользователя.
• Чтобы назначить различные обязанности и роли, такие как создание плана тестирования, Тестовый кейс проектирование, проверка тестовых примеров, выполнение тестов и т. д.
• Обеспечить результаты тестирования в установленные сроки.
• Для обеспечения надлежащего испытание нагрузкой инструменты и опыт команды присутствуют для того же.
• Для измерения риска и затрат, связанных с тестированием. Это определит стоимость каждого выполнения с точки зрения использования ЦП и памяти.
• Обозначить дефект tracкороль и отчетность, а также их соответствующая картаping с требованиями.

Тестовый пример для тестирования стабильности производительности процессора

• Чтобы проверить верхний предел системы.
• Как система выходит из строя или восстанавливается.
• Общее количество транзакций, завершенных за один запрос.
• Будет ли ответ на транзакцию оставаться стабильным или увеличиваться с течением времени.
• Как система ведет себя при большой нагрузке.
• Его реакция и поведение при большой нагрузке.

Отчеты об испытаниях стабильности

Во время выполнения тестов собирается и измеряется ряд статистических данных; эти цифры анализируются для создания отчета и выявления возможных проблем с производительностью.

Примеры статистических данных, собранных в ходе тестирования:

• Время ответа на транзакцию: Среднее время, необходимое для выполнения транзакций во время теста. Эта статистика будет оценивать, находится ли производительность сервера в допустимых минимальных и максимальных периодах времени производительности транзакций, определенных для системы. Эта информация будет оценивать время, затраченное на обработку запроса веб-сервером и отправку на сервер приложений, который в в большинстве случаев запрос будет отправлен на сервер базы данных.
• Хитов в секунду: Количество обращений пользователей к серверу. Эта статистика позволяет определить количество нагрузки, создаваемой пользователями, по отношению к количеству обращений.
• Пропускная способность: Объем пропускной способности веб-сервера во время теста, измеряемый в байтах. Пропускная способность означает объем данных, которые пользователи получили от сервера в любой момент времени. Эта статистика помогает оценить объем нагрузки, которую создают пользователи.
• Транзакция в секунду: Это общее количество завершенных транзакций (как успешных, так и неудачных), выполненных во время теста. Эта статистика помогает проверить фактическую транзакционную нагрузку на систему.
• CPU : Процент использования ЦП, потраченный во время теста.
• Память: Использование памяти во время теста.
• диск: использование дискового пространства, затраченного во время теста.

Основы тестирования стабильности

Тестирование стабильности подпадает под тестирование производительности — метод, который используется для проверки некоторых показателей качества программного обеспечения, таких как стабильность, надежность и доступность.

Это тестирование используется для определения того, насколько быстро система или подсистема работает при определенной рабочей нагрузке.

Тестирование производительности имеет множество типов, и тестирование стабильности — один из них.

• Стресс-тестирование: Это тип тестирования, при котором проверяется надежность системы за пределами ее возможностей.
• Пиковое тестирование: Он используется для проверки поведения системы путем мгновенного увеличения нагрузки на систему. Цель состоит в том, чтобы проверить, в какой момент у системы возникнут проблемы с производительностью или они пройдут.
• Тестирование масштабируемости: Он используется для проверки возможностей системы. Насколько эффективно система будет вести себя при растущих потребностях, изменении размера и объема.
• Объемное тестирование: Это метод нефункционального тестирования, при котором тестируемое программное обеспечение подвергается воздействию огромного объема данных, а поведение системы проверяется и проверяется соответствующим образом.
• Нагрузочное тестирование или тестирование стабильности: (уже обсуждалось выше)

Инструменты тестирования стабильности

Некоторые из инструментов для тестирования производительности:

• ВебЗАГРУЗКА
• LoadRunner
• Apache JMeter
• Neoнагрузка
• КлаудТест
• Лодшторм
• LoadUI
• ВАПТ
• НагрузкаВоздействие
• Погрузчик
• Хттперф
• OpenSTA

Как этот тест вписывается в семейство тестов производительности

Испытания на производительность — это общий термин. Варианты, описанные ниже, отличаются только формой приложенной нагрузки и продолжительностью её удержания, поэтому их так часто путают друг с другом.

Тип теста	Схема нагрузки	Вопрос, на который он отвечает
Тестирование нагрузки	Ожидаемая пиковая нагрузка, кратковременная	Достигает ли система поставленных целей при нормальной пиковой нагрузке?
Стресс-тестирование	Доведено до предела возможностей до отказа	Где происходит сбой, и происходит ли он корректно?
Пиковое тестирование	Внезапный резкий всплеск, затем спад	Выдерживает ли оно и восстанавливается ли после дорожно-транспортного происшествия?
Испытание на выносливость	Нормальная нагрузка удерживалась в течение многих часов.	Снижается ли производительность со временем?
Тестирование на замачивание	Постоянная нагрузка в течение длительного периода времени	Наблюдаются ли утечки памяти или истощение ресурсов?
Тестирование стабильности	Изменение нагрузки в зависимости от условий	Сохраняет ли система свою надежность при изменении условий?
Объемное тестирование	Обычные пользователи, очень большой объем данных	Справится ли система с ростом базы данных?

Испытания на выносливость и испытания на замачивание часто рассматриваются как синонимы. В обиходе они описываются следующим образом: оба теста выдерживают постоянную нагрузку в течение длительного периода времени. Там, где команды различают их, тестирование на выносливость фокусируется на том, увеличивается ли время отклика, в то время как тестирование на длительную нагрузку фокусируется на потреблении ресурсов, таких как память, файловые дескрипторы и пулы соединений. Запуск одного из тестов обычно дает данные по обоим.

Ключевые показатели, которые необходимо отслеживать во время тестирования.

Эффективность теста производительности напрямую зависит от того, что вы записываете во время его выполнения. Зафиксируйте эти шесть показателей на стороне сервера и клиента, а затем сравните их с базовым показателем, а не с интуицией.

Метрика	Что это вам говорит	Предупреждающий знак
Среднее время ответа	Типичный пользовательский опыт	Любое восходящее движение по ходу трассы
95-й процентиль времени ответа	Опыт самых медленных пользователей	Значительно выше среднего, что означает непоследовательность.
Увеличить пропускную способность	Обрабатываемые запросы в секунду	Падение при постоянной нагрузке
Коэффициент ошибок	Доля неудачных или истекших по времени запросов	Любое повышение выше согласованного порога
Использование ЦП и памяти	запас ресурсов сервера	Воспоминания, которые поднимаются вверх и никогда не возвращаются
Подключения к базе данных и потоки	Истощение бассейна	Количество случаев, которые неуклонно растут без публикации,

Прочитайте среднее значение и процентиль вместе. Среднее значение 800 мс с 95-м процентилем 900 мс свидетельствует о стабильной работе системы. То же среднее значение с 95-м процентилем 9 секунд означает, что проблемы возникают у одного из двадцати пользователей, и это скрывает средний показатель.

Обращайте внимание на форму, а не только на значение. В любом длительном тесте ровная линия запасов — это проходной балл, а растущая — это утечка, даже если абсолютное число на момент завершения теста все еще находится в пределах допустимого значения.

Часто задаваемые вопросы (FAQ)