Тестване на оперативната съвместимост в софтуерното тестване
Томас Хамилтън
⚡ Умно обобщение
Тестването за оперативна съвместимост проверява дали софтуерният продукт обменя данни правилно с други компоненти, устройства и системи на доставчици, доказвайки, че цялостната функционалност между две комуникиращи системи се държи точно както е посочено в посочените изисквания.
Какво е тестване за оперативна съвместимост?
Тестване на оперативна съвместимост е вид тестване на софтуер, който проверява дали софтуерът може да взаимодейства с други софтуерни компоненти и системи. Целта на тестовете за оперативна съвместимост е да се гарантира, че софтуерният продукт може да комуникира с други компоненти или устройства без проблеми със съвместимостта.
С други думи, тестването за оперативна съвместимост означава доказване, че цялостната функционалност между две комуникиращи системи е в съответствие с изискванията. Например, тестването за оперативна съвместимост се извършва между смартфони и таблети, за да се провери преносът на данни чрез Bluetooth.
Класифицира се като форма на функционално тестване, защото въпросът, на който отговаря, е поведенчески: дали обменената информация пристига непокътната и дали приемащата система действа правилно по нея?
Различни нива на софтуерна оперативна съвместимост
Две системи могат да се съгласуват помежду си на няколко дълбочини. Всяко ниво по-долу приема, че това по-горе вече работи.
- Физическа оперативна съвместимост — самата връзка се установява, например чрез Bluetooth, Wi-Fi, USB или кабелна мрежова връзка.
- Оперативна съвместимост на типа данни — и двете страни кодират и декодират едни и същи примитивни типове, набори от символи и ред на байтовете.
- Ниво на спецификация Оперативна съвместимост — и двете страни прилагат едни и същи формати на съобщения и правила за протоколи, публикувани в спецификацията.
- Семантична оперативна съвместимост — и двете страни придават едно и също значение на обменените данни, така че поле като „температура“ се интерпретира в една и съща мерна единица и контекст.
Защо се правят тестове за оперативна съвместимост
Тестването за оперативна съвместимост се извършва, защото,
- Осигурява предоставяне на цялостни услуги за два или повече продукта от различни доставчици.
- Софтуерният продукт трябва да може да комуникира с други компоненти или устройства без проблеми със съвместимостта
Рисковете, свързани с липсата на тестове за оперативна съвместимост, са
- Загуба на данни
- Ненадеждно изпълнение
- Ненадеждна работа
- Неправилна работа
- Ниска поддръжка
Как да направите тест за оперативна съвместимост
Процесът на тестване за оперативна съвместимост включва следните стъпки.
Стъпка : Стартирайте проекта.
- Дефинирайте и формализирайте описанието на работата и създайте инфраструктура за управление на проекти.
Стъпка : Настройте тестова лаборатория
- Уверете се, че всички необходими умения и инструменти за автоматизация са настроени за тестови дейности
- Използвайте инструменти за автоматизация за минимизиране на тестовите случаи и повторно използване на тестовите случаи
- Поддържа база данни с конфигурационни файлове
- Записвайте и анализирайте показатели за проекта
- Запишете конфигурация от неуспешни тестове за справка и анализ
Стъпка : Разработете план за тестване
- Напиши План за тестване
- Дефинирайте тестовите случаи и процедурите
- Настройте необходимото оборудване за наблюдение за поддържане на тестови журнали.
Стъпка 4: Изпълнете тест план
- Изпълнение на тестови случаи
- Работете с екипа по тестване, за да анализирате основната причина за неуспеха
Стъпка : Документиране на резултатите
- Използвайте тестови журнали, за да запишете бележките за внедряване
Стъпка : Освободете ресурси и оценете ефективността на проекта,
- С помощта на инструменти за автоматизация анализирайте резултатите от тестовете
Примерни тестови случаи за тестване на оперативната съвместимост
Диаграмата по-долу показва типична конфигурация с два доставчика: устройства от различни производители са свързани и всеки обмен между тях се превръща в тестов случай.
Стратегията за тестване за оперативна съвместимост включва
- Свържете две или повече устройства от различни доставчици
- Проверете връзката между устройствата
- Проверете дали устройството може да изпраща и получава пакети или рамки едно от друго
- Проверете дали данните се обработват правилно в мрежовия и съоръжениевия слой
- Проверете дали внедрените алгоритми работят правилно
- Резултатът е добър: проверете следващия резултат
- Резултатът не е ок: Използвайте инструменти за наблюдение, за да откриете източника на грешката
- Докладвайте резултата в инструмента за докладване на тестове.
Инструменти и техники за тестване на оперативната съвместимост
Нито един продукт не покрива цялостна матрица за оперативна съвместимост. Повечето екипи комбинират изглед на ниво пакети, функционален изглед и начин за заместване на партньорски системи, които не са налични в лабораторията.
| категория | Типични инструменти | Какво ви помага да проверите |
|---|---|---|
| Анализатори на протоколи и пакети | Wireshark, tcpdump, снифери за протоколи на доставчици | Дали съобщенията излизат и пристигат в очаквания формат, на битово ниво |
| API и уеб услуги клиенти | Postman, SoapUI | Заявка и отговорtracts между услуги, изградени от различни доставчици |
| Виртуализация на услуги, заключителни модули и макети | WireMock, Mountebank, SDK за доставчици | Поведение на партньорска система, която е недостъпна, скъпа или все още в процес на разработка |
| Симулатори и емулатори на устройства | Симулатори на доставчици, емулатори на интелигентни домове и IoT платформи | Големи матрици на устройства и фърмуер, без да се купува всяка физическа единица |
| CI автоматизация | Jenkins, GitLab CI, Azure Тръбопроводи | Автоматично повторно изпълнение на пълната комбинирана матрица след всяко изграждане |
Наред с инструментите, три техники се повтарят: тестване по двойки, за да се поддържа управляема матрицата от комбинации на доставчици, отрицателно тестване с деформирани или извън версия съобщения и регистриране на ниво протокол, така че да може да се регистрира неуспех. tracдо точната рамка, която се счупи.
Най-добри практики за тестване на оперативната съвместимост
Дефектите на оперативната съвместимост са скъпи, защото се появяват късно, в чужда среда. Практиките по-долу държат матрицата под контрол.
- Поддържайте матрица на съвместимостта който изброява всеки модел устройство, версия на фърмуера и версия на протокола в обхвата и го актуализира при всяко издание.
- Тестване на обратна и предна съвместимост, не само най-новата двойка. По-възрастните колеги остават в областта с години.
- Anchor тестови случаи по публикуван стандарт като например IEEE, ISO, IETF или индустриален профил, така че „преминал“ означава нещо, което и двамата доставчици приемат.
- Автоматизирайте и работете непрекъснато в рамките на CI конвейера, защото актуализация на партньор може да прекъсне сдвояване, което е преминало вчера.
- Симулирайте преди да купите — емулаторите покриват широк спектър евтино, а физическите лаборатории след това потвърждават комбинациите с най-висок риск.
- Контрол на версиите за всяка конфигурация така че неуспешно изпълнение може да бъде възпроизведено точно.
- Тествайте влошени условия включително изчаквания, изпуснати пакети, частични съобщения и несъответствие на версиите, не само щастливия път.
- Съгласувайте формата за отчитане предварително с партньорския доставчик, така че дефектите могат да бъдат предявени и от двете страни.
Тестване за оперативна съвместимост срещу тестване за съответствие
Тестването за оперативна съвместимост, съответствие и съвместимост често се използват взаимозаменяемо, но всяко от тях отговаря на различен въпрос.
| Аспект | Тестване на оперативна съвместимост | Тестване за съответствие | Тест за съвместимост |
|---|---|---|---|
| Цел | Това гарантира, че продуктът или софтуерът ще работи оперативно с други сертифицирани продукти без никакви проблеми. | Това гарантира съответствието на продукта с необходимите стандарти и спецификации. | Това гарантира, че продуктът работи правилно в дадена среда, като например операционна система, браузър или хардуерна конфигурация. |
| Отговор на въпроса | Могат ли тези две системи да работят заедно? | Тази система спазва ли правилата? | Тази система работи ли правилно тук? |
| Референтна точка | Продукт на друг доставчик | Публикуваният стандарт | Целевата платформа или среда |
| Пример | Прехвърляне на файлове между телефон и таблет чрез Bluetooth | Валидиране на протоколните съобщения спрямо спецификацията | Стартиране на същото приложение на Android 14, Android 15, и Android 16 |
Недостатъци на тестването за оперативна съвместимост
Основните трудности при тестването за оперативна съвместимост са
- Определяне на основните причини за дефекти — повреда може да се намира в която и да е от системите или в мрежата между тях.
- Точно измерване — резултатите зависят от времето и натоварването, така че един и същ тест може да премине и да се провали при последователни изпълнения.
- Мащабируемост на тестването — всеки нов доставчик умножава комбинираната матрица.
- Сложност на мрежата — реалните топологии рядко съответстват на опростената лабораторна настройка.
- Тестване на тестовото оборудване — анализаторите и симулаторите се нуждаят от собствена валидация, преди резултатите да могат да бъдат надеждни.
- Документиране на резултатите от тестовете и наученото — констатациите трябва да са четливи за външен партньор, не само за местния екип.
- Неадекватни изисквания — неясните спецификации оставят и двамата доставчици технически съвместими, но неспособни да комуникират.
