Testowanie interoperacyjności w testowaniu oprogramowania
Tomasza Hamiltona
⚡ Inteligentne podsumowanie
Testowanie interoperacyjności ma na celu sprawdzenie, czy produkt programowy poprawnie wymienia dane z innymi komponentami, urządzeniami i systemami dostawców, udowadniając, że kompleksowa funkcjonalność między dwoma komunikującymi się systemami zachowuje się dokładnie tak, jak określono w podanych wymaganiach.
Czym jest testowanie interoperacyjności?
Testowanie interoperacyjności Testy interoperacyjności to rodzaj testowania oprogramowania, który sprawdza, czy oprogramowanie może współdziałać z innymi komponentami i systemami. Celem testów interoperacyjności jest upewnienie się, że produkt programowy może komunikować się z innymi komponentami lub urządzeniami bez problemów ze zgodnością.
Innymi słowy, testowanie interoperacyjności oznacza udowodnienie, że funkcjonalność kompleksowa między dwoma komunikującymi się systemami jest zgodna z wymaganiami. Na przykład, testy interoperacyjności przeprowadza się między smartfonami i tabletami w celu sprawdzenia transferu danych przez Bluetooth.
Jest to klasyfikowane jako forma testy funkcjonalności, ponieważ odpowiedź na to pytanie ma charakter behawioralny: czy wymieniane informacje docierają w nienaruszonym stanie i czy system odbierający reaguje na nie prawidłowo?
Różne poziomy interoperacyjności oprogramowania
Dwa systemy mogą się ze sobą zgadzać na kilku poziomach. Każdy niższy poziom zakłada, że ten powyżej już działa.
- Interoperacyjność fizyczna — samo połączenie zostanie nawiązane, na przykład przez Bluetooth, Wi-Fi, USB lub przewodowe łącze sieciowe.
- Interoperacyjność typów danych — obie strony kodują i dekodują te same typy pierwotne, zestawy znaków i kolejność bajtów.
- Poziom specyfikacji Interoperacyjność — obie strony wdrażają te same formaty wiadomości i reguły protokołu opublikowane w specyfikacji.
- Interoperacyjność semantyczna — obie strony przypisują to samo znaczenie wymienianym danym, więc pole takie jak „temperatura” jest interpretowane w tej samej jednostce i kontekście.
Dlaczego przeprowadza się testy interoperacyjności?
Testowanie interoperacyjności przeprowadza się, ponieważ:
- Zapewnia kompleksową obsługę obejmującą dwa lub więcej produktów od różnych dostawców
- Produkt programowy powinien móc komunikować się z innymi komponentami lub urządzeniami bez żadnych problemów ze zgodnością
Ryzyko związane z brakiem testów interoperacyjności jest następujące:
- Utrata danych
- Niewiarygodna wydajność
- Niezawodne działanie
- Nieprawidłowa obsługa
- Niska łatwość konserwacji
Jak przeprowadzać testy interoperacyjności
Proces testowania interoperacyjności obejmuje następujące kroki.
Krok 1: Uruchom projekt.
- Zdefiniuj i sformalizuj opis prac oraz skonfiguruj infrastrukturę zarządzania projektem.
Krok 2: Skonfiguruj laboratorium testowe
- Upewnij się, że wszystkie wymagane umiejętności i narzędzia automatyzacji są skonfigurowane na potrzeby działań testowych
- Korzystaj z narzędzi automatyzacyjnych, aby minimalizować przypadki testowe i ponownie je wykorzystywać
- Utrzymuj bazę danych plików konfiguracyjnych
- Rejestruj i analizuj metryki projektu
- Zapisz konfigurację z nieudanych testów w celach informacyjnych i analitycznych
Krok 3: Opracuj plan testów
- Napisz Plan testów
- Zdefiniuj przypadki testowe i procedury
- Skonfiguruj niezbędny sprzęt monitorujący do prowadzenia dzienników testów.
Krok 4: Wykonaj plan testów
- Wykonaj przypadki testowe
- Współpracuj z zespołem testowym, aby przeanalizować przyczynę awarii
Krok 5: Dokumentuj wyniki
- Użyj dzienników testów, aby zapisać uwagi dotyczące wdrożenia
Krok 6: Zwolnij zasoby i oceń wydajność projektu,
- Za pomocą narzędzi automatyzacyjnych przeanalizuj wyniki testów
Przykładowe przypadki testowe do testowania interoperacyjności
Poniższy diagram przedstawia typową konfigurację urządzeń dwóch dostawców: urządzenia różnych producentów są połączone, a każda wymiana danych między nimi staje się przypadkiem testowym.
Strategia testowania w zakresie testowania interoperacyjności obejmuje:
- Podłącz dwa lub więcej urządzeń od różnych dostawców
- Sprawdź łączność między urządzeniami
- Sprawdź, czy urządzenie może wysyłać i odbierać pakiety lub ramki od siebie
- Sprawdź, czy dane są prawidłowo obsługiwane w warstwach sieciowych i obiektowych
- Sprawdź czy zaimplementowane algorytmy działają poprawnie
- Wynik ok: sprawdź następny wynik
- Wynik jest nieprawidłowy: Użyj narzędzi monitorujących, aby wykryć źródło błędu
- Zgłoś wynik w narzędziu do raportowania testów.
Narzędzia i techniki testowania interoperacyjności
Żaden pojedynczy produkt nie obejmuje całej macierzy interoperacyjności. Większość zespołów łączy w sobie widok na poziomie pakietów, widok funkcjonalny i sposób zastępowania systemów partnerskich, które nie są dostępne w laboratorium.
| Kategoria | Typowe narzędzia | Co pomaga zweryfikować |
|---|---|---|
| Analizatory protokołów i pakietów | Wireshark, tcpdump, sniffery protokołów dostawców | Czy wiadomości są wysyłane i odbierane w oczekiwanym formacie na poziomie bitów |
| Klienci API i usług sieciowych | Postman, SoapUI | Żądanie i odpowiedź contracmiędzy usługami tworzonymi przez różnych dostawców |
| Wirtualizacja usług, szczątki i makiety | WireMock, Oszust, dostawca pakietów SDK | Zachowanie systemu partnerskiego, który jest niedostępny, kosztowny lub wciąż w fazie rozwoju |
| Symulatory i emulatory urządzeń | Symulatory dostawców, emulatory platform inteligentnego domu i IoT | Duże macierze urządzeń i oprogramowania sprzętowego bez konieczności zakupu każdej jednostki fizycznej |
| Automatyzacja CI | Jenkins, GitLab CI, Azure Rurociągi | Automatyczne ponowne uruchomienie całej macierzy kombinacji po każdym kompilowaniu |
Oprócz narzędzi powtarzają się trzy techniki: testowanie parowe w celu utrzymania macierzy kombinacji dostawców w stanie umożliwiającym zarządzanie, testowanie negatywne przy użyciu błędnych lub niezgodnych z wersją komunikatów oraz rejestrowanie na poziomie protokołu, aby można było wykryć awarię. tracdo dokładnej klatki, która się zepsuła.
Najlepsze praktyki testowania interoperacyjności
Wady interoperacyjności są kosztowne, ponieważ ujawniają się późno, w cudzym środowisku. Poniższe praktyki pozwalają utrzymać macierz pod kontrolą.
- Utrzymuj macierz kompatybilności który zawiera listę wszystkich modeli urządzeń, wersji oprogramowania sprzętowego i wersji protokołu w zakresie i jest aktualizowany przy każdej wersji.
- Przetestuj zgodność wsteczną i przyszłą, nie tylko najnowsza para. Starsi koledzy pozostają w tej dziedzinie przez lata.
- Anchor przypadki testowe do opublikowanego standardu takie jak IEEE, ISO, IETF lub profil branżowy, więc „zaliczony” oznacza coś, co akceptują obydwaj dostawcy.
- Automatyzuj i działaj w sposób ciągły w procesie CI, ponieważ aktualizacja partnera może zerwać parowanie, które zakończyło się wczoraj.
- Przeprowadź symulację przed zakupem — emulatory pokrywają szeroki zakres problemów za niewielkie pieniądze, a laboratoria fizyczne potwierdzają kombinacje o najwyższym ryzyku.
- Kontrola wersji każdej konfiguracji dzięki czemu nieudany przebieg można dokładnie odtworzyć.
- Testuj zdegradowane warunki w tym przekroczenia limitu czasu, utracone pakiety, częściowe wiadomości i niezgodność wersji, a nie tylko poprawną ścieżkę.
- Wcześnie uzgodnij format raportowania ze sprzedawcą partnerskim, dzięki czemu obie strony mogą dochodzić roszczeń w przypadku wystąpienia wad.
Testowanie interoperacyjności a testowanie zgodności
Pojęcia testowania interoperacyjności, zgodności i kompatybilności są często używane zamiennie, choć każde z nich odpowiada na inne pytanie.
| WYGLĄD | Testowanie interoperacyjności | Testy zgodności | Testowanie kompatybilności |
|---|---|---|---|
| Cel | Zapewnia, że produkt lub oprogramowanie będzie bezproblemowo współpracować z innymi certyfikowanymi produktami | Zapewnia zgodność produktu z wymaganą normą i specyfikacją | Zapewnia prawidłowe działanie produktu w danym środowisku, takim jak system operacyjny, przeglądarka lub konfiguracja sprzętowa |
| Pytanie odpowiedziało | Czy te dwa systemy mogą ze sobą współpracować? | Czy ten system jest zgodny z regulaminem? | Czy ten system działa tutaj prawidłowo? |
| Punkt odniesienia | Produkt innego dostawcy | Opublikowany standard | Platforma lub środowisko docelowe |
| Przykład | Przesyłanie plików między telefonem a tabletem przez Bluetooth | Weryfikacja zgodności komunikatów protokołu ze specyfikacją | Uruchamianie tej samej aplikacji na Android 14, Android 15 i Android 16 |
Wady testowania interoperacyjności
Główne trudności w testowaniu interoperacyjności to:
- Ustalanie pierwotnych przyczyn usterek — awaria może dotyczyć dowolnego z systemów lub sieci między nimi.
- Dokładny pomiar — wyniki zależą od czasu i obciążenia, więc ten sam test może zakończyć się pomyślnie lub niepomyślnie w kolejnych uruchomieniach.
- Skalowalność testów — każdy nowy sprzedawca mnoży macierz kombinacji.
- Złożoność sieci — rzeczywiste topologie rzadko kiedy odpowiadają uproszczonej konfiguracji laboratoryjnej.
- Testowanie sprzętu testowego — analizatory i symulatory wymagają własnej walidacji, zanim będzie można ufać ich wynikom.
- Dokumentowanie wyników testów i wniosków — ustalenia muszą być zrozumiałe dla zewnętrznego partnera, a nie tylko dla lokalnego zespołu.
- Nieodpowiednie wymagania — niejasne specyfikacje sprawiają, że obaj dostawcy wprawdzie spełniają wymagania techniczne, ale nie mogą się ze sobą komunikować.
