Was ist Pilottest? Definition, Bedeutung, Beispiele

Was ist Pilottest?

Piloten test Der Pilottest ist eine Art Softwaretest, der eine Systemkomponente oder das gesamte System unter Echtzeitbetriebsbedingungen überprüft. Ziel des Pilottests ist die Bewertung von Machbarkeit, Zeitaufwand, Kosten, Risiken und Leistung eines Projekts vor dessen Veröffentlichung.

Diese Tests werden genau zwischen UAT und Produktion durchgeführt.

Im Rahmen eines Pilottests erprobt eine ausgewählte Gruppe von Endnutzern das zu testende System und gibt Feedback, bevor es flächendeckend eingeführt wird. Es handelt sich also um eine Generalprobe für den anschließenden Usability-Test, die dazu beiträgt, Fehler im System frühzeitig zu erkennen.

Das folgende Diagramm veranschaulicht diese Vorgehensweise: Die fertige Version wird einer begrenzten Pilotgruppe zur Verfügung gestellt und dort überwacht, während die breitere Benutzerbasis so lange mit dem bestehenden System weiterarbeitet, bis die Ergebnisse vorliegen.

Bei Pilottests geht es um die Installation eines Systems am Kundenstandort (oder in einer vom Benutzer simulierten Umgebung) zum Testen im Hinblick auf eine kontinuierliche und regelmäßige Nutzung.

Die gängigste Methode besteht darin, das System kontinuierlich zu nutzen, um Schwachstellen aufzudecken. Diese Schwachstellen werden dann über den normalen Kommunikationsweg als Fehlerberichte an das Entwicklerteam zurückgesendet. FehlermanagementprozessDie Fehler werden in der nächsten Version des Systems behoben.

In diesem Prozess sind manchmal auch Abnahmetests enthalten Kompatibilitätstests. Dies geschieht, wenn ein System entwickelt wird, um ein altes zu ersetzen.

In Software EngineeringDie Pilotprüfung beantwortet auch eine wirtschaftliche Frage, nämlich ob das Produkt oder die Dienstleistung einen potenziellen Markt hat.

Warum Pilottests wichtig sind

Ein Pilotprojekt ist die letzte Möglichkeit, kostengünstig etwas zu lernen. Alles danach ist ein Produktionsvorfall. Konkret liefert ein Pilotversuch Folgendes:

• Behebt Fehler in der Software und den Verfahren, die zum Testen und Unterstützen dieser Software verwendet werden.
• Bestätigt, ob das Produkt tatsächlich für den vollständigen Einsatz bereit ist.
• Unterstützt bessere Entscheidungen hinsichtlich Zeitaufwand, Budget und Ressourcenzuweisung für die Markteinführung.
• Erfasst die Reaktion der Zielgruppe auf das Produkt oder Programm.
• Der Erfolg des Programms wird anhand vereinbarter Kriterien und nicht anhand von Meinungen gemessen.
• Gibt dem Team die Möglichkeit, die Aktivitäten zu proben, die es während des Usability-Tests anwenden wird.

So führen Sie Pilottests durch

Der Umfang der Pilottests hängt von der Größe und dem Umfang Ihres Migrationsprojekts ab. Die eigentlichen Pilottests werden in einem speziellen Bereich oder Labor durchgeführt, wo Benutzer zahlreiche Verfahren, Transaktionen und Berichte ausführen, während sie die Funktionalität der Software simulieren.

Je nach Projektkontext können Pilotversuche durchgeführt werden:

• Für ein allgemeines Unternehmen kann ein Pilotversuch mit einer Gruppe von Benutzern auf einer Reihe von Servern in einem Rechenzentrum durchgeführt werden.
• Für ein Webentwicklungsunternehmen kann ein Pilotversuch durchgeführt werden, indem die Website-Dateien auf Staging-Servern oder in Ordnern live im Internet gehostet werden.
• Für kommerzielle Softwareanbieter kann ein Pilottest mit einer speziellen Gruppe von Early Adopters durchgeführt werden.

Unabhängig vom jeweiligen Kontext folgt die Pilotprüfung einem schriftlichen Testplan, der aus fünf Schritten besteht.

Schritt 1: Erstellen Sie einen Pilotplan

Schritt 2: Vorbereitung auf den Pilotversuch

Schritt 3: Pilotprojekt bereitstellen und testen

Schritt 4: Auswertung des Pilotversuchs

Schritt 5: Vorbereitung der Produktionsbereitstellung

Vor der Durchführung eines Pilotversuchs müssen folgende Punkte berücksichtigt werden:

• Sorgen Sie für eine angemessene Schulung der Teilnehmer.
• Ein Rollout-Plan für die Bereitstellung der Server und die Vorbereitung der Systeme für das Pilotprojekt.
• Dokumentation des Installationsprozesses.
• Testskripte für jede Softwareanwendung. Sie bestehen aus Checklisten der auszuführenden Funktionen.
• Geben Sie den Design- und Testteams fortlaufend Feedback von den Nutzern per E-Mail oder über Websites.
• Legen Sie die Bewertungskriterien für das Pilotprojekt fest, z. B. Informationen über die Anzahl der Benutzer, die unzufrieden waren, die Anzahl der Supportanrufe und -anfragen usw.
• Binden Sie eine Arbeitsgruppe aus Partnern oder Interessengruppen aus der Gemeinde ein, die in Ihr Projekt investiert haben und sich regelmäßig treffen, um über Ihre Fortschritte zu sprechen.
• Entwickeln Sie einen Evaluierungsplan und Evaluierungsinstrumente oder -werkzeuge, um die notwendigen Informationen über Wissen, Einstellungsänderungen und Verhaltensänderungen der Pilotgruppe zu erfassen.

Während des Pilotversuchs sammelt und wertet das Team Testdaten aus. Auf Grundlage dieser Daten wählt das Team eine der folgenden Strategien.

• Vorwärts taumeln – Einen neuen Release Candidate in der Pilotgruppe bereitstellen.
• zurückrollen – Führen Sie den Rollback-Plan aus, um die Pilotgruppe in ihren vorherigen Konfigurationszustand zurückzuversetzen.
• Aussetzen – Pilotversuche aussetzen.
• Patchen und fortfahren – Patches bereitstellen, um die bestehende Lösung zu reparieren.
• Einführung – Fahren Sie mit der Bereitstellung der Lösung fort.

Die Rollback-Option ist der Grund, warum sich ein Pilotprojekt überhaupt lohnt, daher muss der Wiederherstellungspfad genauso geübt werden wie Wiederherstellungstests Übt den Umgang mit Fehlern, anstatt ihn schriftlich festzuhalten und davon auszugehen, dass er funktioniert.

Eintritts- und Austrittskriterien für Pilotstudien

Ein Pilotprojekt ohne vereinbarte Kriterien artet nach Eingang des Feedbacks in Meinungsstreitigkeiten aus. Beide Kriteriensätze werden vor dem ersten Login eines Nutzers freigegeben.

Eintrittskriterien – das Pilotprojekt kann beginnen, wenn:

• Die Benutzerakzeptanztests sind abgeschlossen und es gibt keinen offenen Fehler, der die tägliche Arbeit behindert.
• Die Pilotumgebung spiegelt die Produktionsumgebung hinsichtlich Konfiguration, Datenvolumen und Integrationen wider.
• Die Pilotgruppe wurde ausgewählt, geschult und über Zweck und Dauer der Übung informiert.
• Für die Pilotphase stehen ein erprobter Rückfallplan und ein Support-Ansprechpartner zur Verfügung.

Abbruchkriterien – das Pilotprojekt endet, sobald die vereinbarten Messwerte vorliegen, typischerweise:

• Fehleranzahl nach Schweregrad, mit Angabe des Schwellenwerts, ab dem die Einführung verschoben wird.
• Aufgabenerfüllungs- und Fehlerquoten für die vom System unterstützten Geschäftsprozesse.
• Die Leistung wurde im Vergleich zum Ausgangssystem des zu ersetzenden Systems gemessen.
• Supportlast, z. B. die Anzahl der Anrufe oder Tickets, die pro Benutzer und Woche erstellt werden.
• Die Kundenzufriedenheit wurde mittels einer strukturierten Umfrage und nicht durch informelle Kommentare erfasst.

Diese Messungen fließen in eine einzelne Entscheidung über Weiterführung oder Abbruch ein, und dieselben Zahlen fließen in der Regel auch in die umfassendere Entscheidung ein. risikobasiertes Testen Eine Bewertung, die festlegt, wie viel zusätzliche Testabdeckung die Veröffentlichung vor der allgemeinen Verfügbarkeit benötigt.

Pilot-Test vs. Beta-Test

Die beiden Aktivitäten werden oft verwechselt, da in beiden Fällen unfertige Software den Nutzern präsentiert wird. Der Unterschied liegt in der Kontrolle: Ein Pilotprojekt ist ein kontrollierter Test innerhalb einer definierten Gruppe, während eine Betaversion eine offene Veröffentlichung ist, die umfangreiches Feedback einholt.

Aspekt	Piloten test	Betatest
Publikum	Eine ausgewählte, repräsentative Gruppe an einem bekannten Standort	Jedes Mitglied der Öffentlichkeit, das sich dafür entscheidet
Arbeitsumfeld	Produktionsähnliche Umgebung, die vom Team kontrolliert wird	Die eigenen Geräte und Netzwerke des Nutzers
Timing	Nach der Benutzerakzeptanzprüfung, vor der Einführung	Nach der Pilotphase, näher an der allgemeinen Veröffentlichung
Zweck	Nachweis von Machbarkeit, Kosten, Risiken und Einsatzbereitschaft	Sammeln Sie umfassendes Feedback und decken Sie seltene Umweltprobleme auf.
Messung	Formale Ein- und Austrittskriterien mit vereinbarten Kennzahlen	Gemeldete Probleme und Nutzungsdaten
Rollback	Für die Pilotgruppe geplant und geprobt	Die Benutzer deinstallieren oder stellen die Version selbstständig wieder her.

Pilotversuche unterscheiden sich gleichermaßen von User Acceptance Testing, die fragt, ob das System die vereinbarten Anforderungen erfüllt, und von Alpha-Test, was intern geschieht, bevor irgendein Kunde das fertige Produkt zu Gesicht bekommt.

Vor- und Nachteile von Pilotversuchen

Der Kompromiss ist einfach: Ein Pilotprojekt beschafft sich Evidenz und bezahlt diese Evidenz mit Zeitaufwand und Koordinierungsaufwand.

Vorteile	Nachteile
Deckt Mängel unter realen Nutzungsbedingungen auf, die ein Labor nicht reproduzieren kann.	Fügt dem Zeitplan zwischen Benutzerakzeptanztest (UAT) und Freigabe eine Phase hinzu.
Prüft Installationsschritte, Schulungsmaterialien und Supportverfahren	Erfordert eine produktionsähnliche Umgebung und dedizierte Unterstützung.
Liefert fundierte Beweise für die Entscheidung, ob das Projekt weiterverfolgt werden soll oder nicht.	Die Ergebnisse sind nur so repräsentativ wie die gewählte Pilotgruppe.
Begrenzt den Wirkungsradius eines Fehlers auf eine Gruppe anstatt auf alle Benutzer.	Ein kurzer Pilotversuch kann Monatsende, Spitzenlast und saisonales Verhalten außer Acht lassen.
Stärkt das Vertrauen der Interessengruppen vor der breiteren Einführung	Teilnehmer zögern möglicherweise, Probleme in ihrer eigenen Live-Arbeit zu melden.

Beide Kolumnen plädieren dafür, die Pilotphase als geplante Phase innerhalb der Lebenszyklus von Softwaretests mit eigenem Plan und Eigentümer, und nicht als informelle Einweichphase, die an das Ende angehängt wird Systemtests.

Gute Praxis für Pilottests

• Planen Sie den Pilottest zwei Tage vor dem Usability-Test.
• Der Pilotversuch sollte erst dann gestartet werden, wenn sich alle Nutzer, Kunden und das Projektteam auf die Kriterien für ein erfolgreiches Ergebnis geeinigt haben.
• Bitten Sie die Benutzer, etwaige Probleme auf ihren Kopien der Materialien zu markieren, ihre Bedenken zu schildern und (falls vorhanden) Verbesserungsvorschläge zu unterbreiten.
• Informieren Sie die Nutzer über Zweck, Dauer und Fortschritt des Pilotprojekts.
• Wählen Sie Teilnehmer aus, die die tatsächliche Nutzerpopulation widerspiegeln, einschließlich der weniger selbstbewussten, denn eine Gruppe von Enthusiasten liefert ein schmeichelhaftes Ergebnis.
• Führen Sie ein einziges Protokoll über Probleme, Feedback und Entscheidungen, damit die Abschlussbeurteilung auf der Grundlage eines einzigen Datensatzes erfolgen kann.

Zwei weitere Vorgehensweisen ergeben sich aus der Umgebung selbst. Die Verbreitung von Geräten, Browsern und Betriebssystemen der Pilotgruppe sollte ebenso sorgfältig erfasst werden wie Konfigurationstests und bestätigen, dass alltägliche Vorgänge wie Datensicherung, Überwachung und Stapelverarbeitung funktionieren, was den Aufgabenbereich abdeckt durch Betriebsabnahmeprüfung.

Beispiel für Pilottests

Nachfolgend sind einige gängige Beispiele für Pilottests aufgeführt:

• Microsoft Läuft die Windows Insider-ProgrammVeröffentlichung der Vorabversion Windows Builds werden auf freiwilligen Kanälen bereitgestellt, bevor diese Builds allgemein verfügbar sind.
• Google Läuft die Android Beta-Programm, wodurch unterstützte Pixel-Geräte für die Testversion vor der Veröffentlichung angemeldet werden. Android wird vor der öffentlichen Veröffentlichung erstellt.
• HP führt Online-Pilotprogramme für seine Produkte und Dienstleistungen durch.

Alle Beispiele folgen demselben Muster: Eine begrenzte, selbstselektierte Gruppe testet das Produkt, Telemetriedaten und Feedback werden an den Anbieter zurückgesendet, und die breitere Markteinführung wartet auf diese Ergebnisse. Die Einordnung dieser Technik im Vergleich zu anderen verfügbaren Ansätzen wird in [Referenz einfügen] erläutert. Arten von Softwaretests.

Häufig gestellte Fragen