Тестирование на соответствие (тестирование соответствия) при тестировании программного обеспечения

Автор: Редакционная коллегия Редакционная коллегия
Hours обновлено

⚡ Умное резюме

Тестирование на соответствие стандартам подтверждает, что программная система соответствует стандартам и правилам, установленным такими организациями, как IEEE, W3C или ETSI, охватывающим производительность, функциональность, надежность, совместимость и общее поведение системы.

  • 🔘 Также называемый: Испытания на соответствие или типовые испытания — это формальная проверка на соответствие опубликованному стандарту.
  • 📚 Покрытие: Включает в себя испытания на соответствие стандартам, нагрузку, напряжение и объемные испытания в рамках одной программы соответствия.
  • 🧭 Подмножества: Перед началом разработки тестов спецификации группируются по профилям, уровням и модулям.
  • 🔄 Процесс: Проанализируйте стандарты, выберите инструменты, разработайте процедуры, проведите проверку, а затем примите политику сертификации.
  • 📱 Телефон: В устройствах GSM и CDMA дополнительно проводятся тесты на протокол, SIM-карту, радиочастоту, звук и поглощение.
  • ️ Различение: Соответствие — это формальная и полная поддержка; соблюдение — это неформальная и частичная поддержка.
Читать

Процесс тестирования на соответствие и проверки на соответствие требованиям в тестировании программного обеспечения

Тестирование на соответствие

Тестирование на соответствие Тестирование на соответствие — это метод тестирования программного обеспечения, используемый для подтверждения соответствия программной системы стандартам и правилам, установленным такими организациями, как IEEE, W3C или ETSI. Он определяет, насколько хорошо тестируемая система соответствует отдельным требованиям конкретного стандарта. Тестирование на соответствие также называется тестированием на соответствие.

Хотя в нем рассматриваются технические аспекты, по замыслу он также охватывает следующие темы:

  • Эффективности
  • функции
  • прочность
  • Взаимодействие
  • Поведение системы

Виды тестирования соответствия

Проверка на соответствие может быть логической или физической и включает в себя следующие виды тестирования:

На приведенной ниже диаграмме показано, как эти типы тестирования объединены в рамках единой программы проверки соответствия.

Виды испытаний на соответствие, сгруппированные по категориям: испытания на податливость, испытания под нагрузкой, испытания на напряжение и испытания на объем.

Зачем нам нужно тестирование соответствия?

  • Для проверки соответствия системным требованиям
  • Чтобы проверить полноту системной документации.
  • Проверка разработки, проектирования и оценки на соответствие техническим требованиям.

Что нам нужно протестировать?

  • Стандарты, посредством которых происходит внедрение
  • Вызов системы, которую предстоит разработать
  • Объем спецификаций
  • Цели спецификации

Проверка на соответствие инициируется руководством при условии, что команда понимает применимые стандарты, спецификации и процедуры.

Стандарты и технические условия должны быть четко сформулированы во избежание двусмысленности. В тех случаях, когда это не так, тестирование на соответствие само по себе полезно для определения шагов, необходимых для того, чтобы сделать их актуальными и надежными.

Когда и как проводить тестирование на соответствие?

Тестирование на соответствие проводится, когда необходимо проверить общую согласованность, полноту и корректность системы в соответствии с требованиями спецификации. Используемые методологии не сильно отличаются от обычных этапов жизненного цикла разработки:

  • Анализ спецификации требований
  • Подготовка плана тестирования
  • Подготовка тестовых примеров и указание на их назначение.
  • Создание документации для подготовленных тестовых сценариев.

Необходимо уделить внимание некоторым дополнительным аспектам спецификаций, в частности подмножествам, которые, как правило, делятся на три типа — Профиль, Уровень и Модули:

  • Профиль представляет собой подмножество спецификаций, включающее функциональность системы, необходимую для удовлетворения потребностей определенной группы пользователей.
  • Уровни представляют собой вложенные подмножества спецификаций, где Уровень 1 обозначает основные спецификации, а Уровень 2 — Уровень 1 плюс дополнительная или новая функциональность.
  • Модули представляют собой наборы существенно коррелированных стандартов и спецификаций.

Процесс тестирования на соответствие

Процесс тестирования на соответствие, или процесс проверки на соответствие требованиям, необходим для обеспечения эффективности и производительности, а также для предотвращения будущих рисков для программного приложения. Эффективное тестирование на соответствие проводится в соответствии со следующим пошаговым процессом:

  1. Анализ стандартов и технических условий
  2. Выбор инструментов тестирования и набора тестов.
  3. Разработка процедур тестирования
  4. Проверка необходимых проверок
  5. Внедрение соответствующих политик тестирования и сертификации.

Приведенная ниже схематическая иллюстрация процесса проверки соответствия и соответствия облегчает понимание последовательности действий.

Пятиэтапный процесс проверки соответствия, от анализа стандартов до сертификации.

Если представить это в виде примера использования, то тот же процесс показывает, какой участник выполняет каждый этап.

Схема вариантов использования процесса тестирования на соответствие с участием тестировщика и специалиста по сертификации.

Не пропустите:

Проверка на соответствие и проверка на соответствие требованиям

Тестирование на соответствие иногда называют тестированием на соответствие требованиям, однако между ними есть несколько основных различий. В таблице ниже приведено их сравнение.

Тестирование на соответствие Тестирование на соответствие
Формальный и точный способ проверки на соответствие стандартам. Неформальный и менее точный способ проверки на соответствие стандартам.
Сертификация соответствия распространяется только на операционные системы, имеющие официальное одобрение органа по сертификации. Операционная система, предоставляющая единый API POSIX (переносимый OperaИнтерфейс системы (ting System Interface) считается соответствующим требованиям.
Используется для тестирования системы, обеспечивающей полную поддержку заданных стандартов. Используется для тестирования системы, которая поддерживает только некоторые из заданных стандартов.

Преимущества тестирования на соответствие

  1. Обеспечивает надлежащее выполнение технических условий.
  2. Обеспечивает мобильность и совместимость.
  3. Обеспечивает надлежащее использование стандартов
  4. Это позволяет гарантировать корректную работу интерфейсов и функций.
  5. Помогает определить области, которые должны соответствовать требованиям, и те, которые не нуждаются в этом, например, синтаксис и семантика.

Недостатки тестирования соответствия

Как и другие виды тестирования, тестирование на соответствие включает в себя сложные задачи, выполнение которых может представлять собой непростую задачу. Некоторые из них перечислены ниже:

  1. Для эффективного тестирования на соответствие требованиям необходимо определить класс тестируемой системы, а также подобрать подходящую методологию.
  2. Классификация технических характеристик по профилям, уровням и модулям.
  3. Предварительное определение значений
  4. Разработка расширений, опций и подходов, необходимых для успешного проведения процесса тестирования.

Тестирование на соответствие: критический анализ

В процессе тестирования на соответствие существуют области, требующие особого внимания и знаний для успешной реализации:

  1. Методики тестирования, которые лучше всего подходят
  2. Выбор инструмента тестирования, который автоматизирует процесс тестирования.
  3. Чёткое понимание того, что тестирование на соответствие выявляет только несоответствие, но никогда не само соответствие.
  4. Разработка и внедрение программы тестирования на соответствие стандартам.
  5. Определение того, насколько формально это должно быть выполнено.
  6. Политика и регулирование

Тестирование соответствия мобильной системы

Как и другие виды тестирования программного обеспечения, тестирование на соответствие стандартам может проводиться и для мобильных систем. После сборки системы она проверяется на работоспособность перед развертыванием посредством теста на соответствие стандартам.

В зависимости от типа сети, например, GSM или CDMA, проводятся тесты для обеспечения соответствия стандартам и совместимости. Эти тесты могут включать в себя:

Пример диаграммы вариантов использования

Следующая диаграмма вариантов использования показывает, как выполняется тестирование на соответствие для развернутого программного обеспечения. мобильные системы.

Диаграмма вариантов использования для проверки соответствия развернутой мобильной системы.

Тестирование SIM-карты можно разделить на два этапа. Первый этап: проверка пароля, показано ниже.

Пример использования проверки пароля SIM-карты с указанием правильных и неправильных PIN-кодов.

Второй этап позвонить, который имеет два исхода: вызов пройден успешно и вызов не пройден.

Создание сценария использования звонка, демонстрирующего успешный и неудачный исходы звонка.

Тестирование протокола следует той же схеме, что и в данном примере.

Пример использования тестирования протокола для мобильной системы в рамках проверки соответствия стандартам.

Приведённый ниже шаблон тестового примера демонстрирует, как пишутся тестовые примеры для тестирования протокола.

ID теста Сценарий тестирования Шаги тестирования Тестовые данные ожидаемый результат Фактический результат Статус Замечания
PT001 Протокол не имеет взаимоблокировки Начните с процесса общения _ Должен успешно установить связь Связь успешно установлена Проходить _
PT002 PingКоманда корректно работает при истечении времени ожидания. Enter Ping команда как 'Ping -w' в командной строке Ping 1000 Должно отобразиться сообщение «Transmit Успешный." В сообщении отображается:Transmit Успешный." Проходить _
PT003 Подсчитайте количество запросов 'echo'. Enter Ping команда как 'Ping -n' в командной строке Ping 4 Должно начаться pingввод 0.0.0.4 с 32-байтовыми данными и отображение сообщения «Transmit Успешный." Старты pingПри вводе данных в адрес 0.0.0.4 объемом 32 байта отображается сообщение «Transmit Не удалось." Файл Семантическая или функциональная ошибка
PT004 В любой штат можно попасть из любого штата Выйти из состояния и вернуться в предыдущее или следующее. _ Должно успешно изменить состояние Успешно меняет состояние Проходить _

Подобные шаблоны обеспечивают единообразие процесса тестирования. В зависимости от типа сети, могут быть определены и выполнены сотни тестовых случаев для подтверждения того, что мобильная система работает в соответствии с требованиями спецификации.

Часто задаваемые вопросы (FAQ)

Чаще всего упоминаются IEEE, W3C, ETSI и 3GPP, а также ISO. Каждая из этих организаций публикует спецификацию и, во многих случаях, официальный набор тестов, которые лаборатория проводит перед выдачей сертификата.

Модели считывают длинную спецификацию и сопоставляют каждый пункт с потенциальным тестовым примером, что сокращает ее объем. tracРабота по обеспечению безопасности. Квалифицированный эксперт все равно дает свое согласие, поскольку доказательства сертификации должны быть убедительными для аудитора.

Да, для повторяющегося кода и утверждений, связанных с опубликованным набором тестов. Агенты-запускатели также могут повторно запускать набор тестов при каждой сборке, хотя критерии прохождения должны исходить из стандарта, а не от помощника.

Аккредитованный орган по сертификации или испытательная лаборатория, признанная органом по стандартизации, а не группой разработчиков. Самостоятельно заявленные результаты обычно описываются как декларация соответствия, а не сертификат.

Сертификаты выдаются всякий раз, когда стандарт пересматривается или изменяется его реализация таким образом, что это затрагивает сертифицированный интерфейс. Многие сертификаты также имеют срок действия, по истечении которого набор сертификатов выполняется повторно.

Подтверждение соответствия доказывает, что одна из реализаций соответствует спецификации. Тестирование на совместимость Затем доказывается, что две независимо разработанные реализации действительно работают вместе. Успешное прохождение первой не гарантирует успешное прохождение второй.

В основном, это тесты «чёрного ящика». Набор тестов проверяет опубликованный интерфейс и сравнивает наблюдаемое поведение со стандартом, не завися от того, как была построена внутренняя реализация.

A tracМатрица удобства использования связывает каждый пункт стандарта с тестовым примером, результатами выполнения и описанием заявленного профиля или уровня. Аудиторы читают этот пакет, а не сам код.

Подведем итог этой публикации следующим образом: