Тестування сумісності в тестуванні програмного забезпечення
Томас Гамільтон
⚡ Розумний підсумок
Тестування сумісності перевіряє, чи програмний продукт правильно обмінюється даними з іншими компонентами, пристроями та системами постачальників, доводячи, що наскрізна функціональність між двома взаємодіючими системами поводиться саме так, як визначають заявлені вимоги.
Що таке тестування сумісності?
Тестування сумісності – це тип тестування програмного забезпечення, який перевіряє, чи може програмне забезпечення взаємодіяти з іншими програмними компонентами та системами. Мета тестів на сумісність полягає в тому, щоб переконатися, що програмний продукт здатний взаємодіяти з іншими компонентами або пристроями без будь-яких проблем сумісності.
Іншими словами, тестування сумісності означає підтвердження того, що наскрізна функціональність між двома взаємодіючими системами відповідає вимогам. Наприклад, тестування сумісності проводиться між смартфонами та планшетами для перевірки передачі даних через Bluetooth.
Його класифікують як форму функціональне тестування, оскільки питання, на яке воно відповідає, є поведінковим: чи надходить обміняна інформація в цілості й сховищі, і чи правильно на неї реагує система-отримувач?
Різні рівні сумісності програмного забезпечення
Дві системи можуть узгоджуватися одна з одною на кількох глибинах. Кожен нижчий рівень передбачає, що рівень, що вище, вже працює.
- Фізична сумісність — встановлюється саме з’єднання, наприклад, через Bluetooth, Wi-Fi, USB або дротове мережеве з’єднання.
- Інтероперабельність типу даних — обидві сторони кодують та декодують однакові примітивні типи, набори символів та порядок байтів.
- Рівень специфікації Взаємодія — обидві сторони реалізують однакові формати повідомлень та правила протоколу, опубліковані у специфікації.
- Семантична сумісність — обидві сторони надають однакового значення обмінюваним даним, тому таке поле, як «температура», інтерпретується в однакових одиницях вимірювання та контексті.
Навіщо проводити тестування сумісності
Тестування сумісності проводиться тому, що
- Це забезпечує комплексне надання послуг для двох або більше продуктів від різних постачальників.
- Програмний продукт повинен мати можливість взаємодіяти з іншими компонентами або пристроями без будь-яких проблем сумісності.
Ризики, пов'язані з відсутністю тестування на сумісність, такі:
- Втрата даних
- Ненадійна продуктивність
- Ненадійна робота
- Неправильна робота
- Низька ремонтопридатність
Як провести тестування сумісності
Процес тестування на сумісність включає такі кроки.
крок 1: Запуск проекту.
- Визначити та формалізувати технічне завдання та налаштувати інфраструктуру управління проектами.
крок 2: Створення тестової лабораторії
- Переконайтеся, що всі необхідні навички та інструменти автоматизації налаштовані для тестування
- Використовуйте інструменти автоматизації для мінімізації тестових випадків та їх повторного використання
- Ведіть базу даних конфігураційних файлів
- Записуйте та аналізуйте показники для проекту
- Запис конфігурації з невдалих тестів для довідки та аналізу
крок 3: Розробити план тестування
- Напиши План тестування
- Визначте тестові випадки та процедури
- Налаштуйте необхідне моніторингове обладнання для ведення журналів тестування.
Крок 4: Виконайте план тестування
- Виконайте тестові випадки
- Співпрацюйте з командою тестування, щоб проаналізувати першопричину невдачі
крок 5: Результати документа
- Використовуйте журнали тестування для запису приміток щодо реалізації
крок 6: звільнення ресурсів і оцінка ефективності проекту,
- За допомогою інструментів автоматизації проаналізуйте результати тестування
Приклади тестів для тестування сумісності
На діаграмі нижче показано типову схему з двома постачальниками: підключаються пристрої різних виробників, і кожен обмін між ними стає тестовим випадком.
Стратегія тестування для перевірки сумісності включає
- Підключіть два або більше пристроїв від різних виробників
- Перевірте підключення між пристроями
- Перевірте, чи можуть пристрої надсилати та отримувати пакети або кадри один від одного
- Перевірте, чи правильно обробляються дані на мережевому рівні та рівнях обладнання
- Перевірте, чи правильно працюють реалізовані алгоритми
- Результат нормально: перевірте наступний результат
- Результат не відповідає дійсності: використовуйте інструменти моніторингу, щоб виявити джерело помилки.
- Звітувати про результати в інструменті звітування про тестування.
Інструменти та методи тестування сумісності
Жоден окремий продукт не охоплює матрицю сумісності від початку до кінця. Більшість команд поєднують пакетний підхід, функціональний підхід та спосіб заміни партнерських систем, яких немає в лабораторії.
| Категорія | Типові інструменти | Що це допомагає вам перевірити |
|---|---|---|
| Аналізатори протоколів та пакетів | Wireshark, tcpdump, сніфери протоколів постачальників | Чи надходять та відправляються повідомлення в очікуваному форматі на бітовому рівні |
| Клієнти API та веб-сервісів | Postman, SoapUI | Запит і відповідьtracвзаємодія між сервісами, створеними різними постачальниками |
| Віртуалізація сервісів, заглушки та макети | WireMock, Mountebank, заготовки SDK постачальника | Поведінка партнерської системи, яка недоступна, дорога або все ще перебуває в розробці |
| Симулятори та емулятори пристроїв | Симулятори постачальників, емулятори платформ розумного будинку та Інтернету речей | Великі матриці пристроїв та прошивок без купівлі кожного фізичного блоку |
| Автоматизація CI | Jenkins, Незалежна інтеграція GitLab, Azure Трубопроводи | Автоматичне повторне створення повної комбінаційної матриці після кожного складання |
Поряд з інструментами, повторюються три методи: попарне тестування для забезпечення керованості матриці комбінацій постачальників, негативне тестування з повідомленнями про неправильні або неактуальні версії та ведення журналу на рівні протоколу, щоб можна було фіксувати помилку. tracдо тієї самої рами, яка зламалася.
Найкращі практики тестування сумісності
Дефекти сумісності є дорогими, оскільки вони проявляються пізно, в чужому середовищі. Наведені нижче методи контролюють матрицю.
- Ведіть матрицю сумісності у якому перелічено кожну модель пристрою, версію прошивки та версію протоколу в області застосування, та оновлюється в кожному випуску.
- Перевірка зворотної та прямої сумісності, не лише остання пара. Старші колеги залишаються в цій галузі роками.
- Anchor тестові випадки відповідно до опублікованого стандарту наприклад, профіль IEEE, ISO, IETF або галузевий профіль, тому «пройшов» означає те, що приймають обидва постачальники.
- Автоматизувати та виконувати безперервно всередині конвеєра неперервної інтеграції (CI), оскільки оновлення партнера може розірвати пару, яка пройшла вчора.
- Моделюйте перед покупкою — емулятори дешево охоплюють широкий спектр, а фізичні лабораторії потім підтверджують комбінації з найвищим рівнем ризику.
- Контроль версій кожної конфігурації щоб невдалий пробіг можна було відтворити точно.
- Випробування за погіршених умов включаючи тайм-аути, втрачені пакети, часткові повідомлення та невідповідність версій, а не лише щасливий шлях.
- Узгодьте формат звітності заздалегідь з постачальником-партнером, тому дефекти можуть бути вирішені з обох сторін.
Тестування сумісності проти тестування відповідності
Тестування на сумісність, сумісність та тестування на сумісність часто використовуються як взаємозамінні, проте кожне з них відповідає на різні питання.
| Аспект | Тестування сумісності | Тестування відповідності | Тестування сумісності |
|---|---|---|---|
| Мета | Це гарантує, що продукт або програмне забезпечення буде взаємодіяти з іншими сертифікованими продуктами без будь-яких проблем. | Це гарантує відповідність продукту необхідним стандартам та специфікаціям | Це забезпечує коректну роботу продукту в заданому середовищі, такому як операційна система, браузер або конфігурація обладнання. |
| Відповідь на запитання | Чи можуть ці дві системи працювати разом? | Чи відповідає ця система правилам? | Чи ця система тут працює належним чином? |
| Орієнтир | Продукт іншого постачальника | Опублікований стандарт | Цільова платформа або середовище |
| Приклад | Передача файлів між телефоном і планшетом через Bluetooth | Перевірка повідомлень протоколу на відповідність специфікації | Запуск тієї ж програми на Android 14, Android 15, і Android 16 |
Недоліки тестування сумісності
Основні труднощі у тестуванні сумісності полягають у
- Визначення першопричин дефектів — збій може виникнути в будь-якій системі або в мережі між ними.
- Точне вимірювання — результати залежать від часу та навантаження, тому один і той самий тест може як успішно, так і не успішно пройти його під час послідовних запуску.
- Масштабованість тестування — кожен новий постачальник множить матрицю комбінацій.
- Складність мережі — реальні топології рідко відповідають спрощеній лабораторній конфігурації.
- Тестування тестового обладнання — аналізатори та симулятори потребують власної валідації, перш ніж результатам можна буде довіряти.
- Документування результатів тестування та навчання — результати мають бути доступними для читання зовнішнім партнером, а не лише місцевою командою.
- Неадекватні вимоги — розпливчасті специфікації залишають обох постачальників технічно сумісними, але не дозволяють їм спілкуватися.
