Direkt zum Inhalt

QA-Strategie

Wertorientierte Testautomatisierung: Was sich wirklich lohnt

Nicht jeder Test lohnt sich zu automatisieren. Wie eine Bewertungsmatrix mit Punkten hilft, die richtigen Tests auszuwählen – mit Beispiel.

Module in digitaler Form

Warum nicht einfach alles automatisieren?

„Wir automatisieren alle Tests“ klingt nach einem guten Plan – und endet oft in einer großen, instabilen Testsuite, die mehr Pflege kostet, als sie spart. Jeder automatisierte Test muss gebaut, gewartet und bei Fehlalarmen untersucht werden. Ändert sich die Oberfläche häufig, wächst dieser Aufwand schnell.

Wertorientierte Testautomatisierung dreht die Frage um: Nicht „Was können wir automatisieren?“, sondern „Wo bringt Automatisierung den größten Nutzen im Verhältnis zum Aufwand?“ Die Antwort liefert eine einfache Bewertungsmatrix, in der jeder Testfall Punkte bekommt.

Die Kriterien der Bewertungsmatrix

Jeder Testfall wird nach vier Kriterien bewertet, jeweils mit 1 bis 3 Punkten. 3 Punkte bedeuten immer: Das spricht für die Automatisierung.

  • Häufigkeit: Wie oft wird der Test ausgeführt? Bei jedem Commit oder Release gibt es 3 Punkte, einmal im Jahr nur 1.
  • Risiko: Wie groß wäre der Schaden, wenn genau diese Funktion ausfällt – für Umsatz, Kunden oder Compliance?
  • Stabilität: Wie stabil ist die Funktion? Eine Oberfläche, die sich jede Woche ändert, bekommt 1 Punkt – ihr Test müsste ständig angepasst werden.
  • Umsetzbarkeit: Wie leicht lassen sich Erstellung und Pflege umsetzen? Externe Systeme, schwierige Testdaten oder schwer prüfbare Ergebnisse geben Abzüge.

Die Punkte werden addiert. Das Ergebnis liegt zwischen 4 und 12 – je höher die Summe, desto eher lohnt sich die Automatisierung.

Zusätzlich gibt es K.-o.-Kriterien, die unabhängig von der Punktzahl gelten: Ein Test, der nur ein einziges Mal läuft, oder ein Ergebnis, das sich nicht eindeutig automatisch bewerten lässt, bleibt manuell.

Was die Punktzahl bedeutet

Die Summe ordnet jeden Testfall einer von vier Empfehlungen zu:

10 bis 12 Punkte

Zuerst automatisieren

Häufig ausgeführt, geschäftskritisch, stabil und gut umsetzbar. Hier zahlt sich Automatisierung am schnellsten aus.

8 bis 9 Punkte

Gezielt planen

Lohnt sich, hat aber einen Haken – meist den Aufwand, etwa wegen externer Systeme oder Testdaten. Gehört in die nächste Ausbaustufe.

6 bis 7 Punkte

Bei Gelegenheit

Bringt wenig im Verhältnis zum Aufwand. Sinnvoll, wenn die wichtigen Tests stehen – oder neu bewerten, sobald sich etwas ändert.

4 bis 5 Punkte oder K.-o.-Kriterium

Manuell lassen

Selten, instabil oder schwer zu prüfen. Hier sind manuelle oder explorative Tests wirtschaftlicher.

Ein Beispiel aus der Praxis

Wie das konkret aussieht, zeigt die Bewertung typischer Testfälle eines Kundenportals:

Beispielbewertung eines Kundenportals (je Kriterium 1 bis 3 Punkte, 3 = spricht für Automatisierung)
TestfallHäufigkeitRisikoStabilitätUmsetzbarkeitPunkteEmpfehlung
Anmeldung333312Zuerst automatisieren
Preisberechnung über die API333312Zuerst automatisieren
Suche mit Filtern323210Zuerst automatisieren
Bestellung mit Zahlung33219Gezielt planen
Registrierung mit E-Mail-Bestätigung22318Gezielt planen
PDF-Export der Rechnung12317Bei Gelegenheit
Neue Funktion, Oberfläche ändert sich noch22127Bei Gelegenheit, später neu bewerten
Einmalige Datenmigration13116Manuell lassen (K.-o.: einmalig)
Gestaltung und Bedienbarkeit21115Manuell lassen

Das Ergebnis ist eindeutig: Anmeldung, Preisberechnung und Suche werden zuerst automatisiert – sie laufen ständig, sind kritisch und gut umsetzbar. Die Bestellung mit Zahlung ist mindestens genauso wichtig, braucht aber eine Testumgebung des Zahlungsanbieters und saubere Testdaten; sie kommt als geplantes Vorhaben in die nächste Ausbaustufe. Die einmalige Migration fällt trotz ihrer 6 Punkte durch das K.-o.-Kriterium heraus, die Gestaltung bleibt ohnehin manuell.

Wichtig: Die Matrix ist kein Selbstzweck. Sie sorgt dafür, dass die Entscheidung nachvollziehbar wird und alle Beteiligten dieselben Kriterien anlegen. Ändert sich ein Testfall – etwa weil eine neue Funktion stabil geworden ist –, wird er neu bewertet.

Lohnt sich das? Ein Rechenbeispiel

Ob sich ein automatisierter Test rechnet, lässt sich grob überschlagen:

Ersparnis = manueller Aufwand pro Durchlauf × Anzahl Durchläufe − (Erstellung + Pflege)

Ein manueller Test, der 30 Minuten dauert und 50-mal im Jahr ausgeführt wird, kostet 25 Stunden. Kostet die Automatisierung 6 Stunden in der Erstellung und 4 Stunden Pflege im Jahr, bleiben 15 Stunden Ersparnis – und das bei jedem weiteren Jahr mehr. Läuft derselbe Test nur zweimal im Jahr, rechnet sich die Automatisierung nicht.

Der größte Wert lässt sich dabei gar nicht in Stunden messen: Automatisierte Tests in der Pipeline melden Fehler Minuten nach einer Änderung statt Wochen später.

Typische Fehler

  • Die umgekehrte Pyramide: Fast alles wird über die Oberfläche getestet, obwohl API- und Unit-Tests schneller und stabiler wären.
  • Zu früh automatisiert: Funktionen, deren Oberfläche sich noch ändert, erzeugen vor allem Pflegeaufwand.
  • Fehlalarme ignoriert: Eine Testsuite, die regelmäßig ohne echten Fehler rot wird, verliert schnell jedes Vertrauen.
  • Die falsche Kennzahl: Die Anzahl automatisierter Testfälle sagt wenig. Entscheidend ist, wie viel Risiko sie abdecken und wie viel manuellen Aufwand sie sparen.
  • Niemand fühlt sich zuständig: Ohne klare Verantwortung für Pflege und Auswertung veralten Tests schnell.

Wie wir unterstützen

Wir bewerten Ihre Testfälle mit Ihnen gemeinsam, priorisieren sie mit der Bewertungsmatrix und bauen die Automatisierung dort auf, wo sie sich auszahlt – mit Werkzeugen wie Playwright, Selenium, Robot Framework oder Tricentis Tosca und eingebunden in Ihre Pipeline. Regelmäßige Auswertungen zeigen, ob die Automatisierung hält, was sie verspricht.

Häufige Fragen

Was bedeutet wertorientierte Testautomatisierung?

Wertorientierte Testautomatisierung wählt Tests danach aus, wie viel Nutzen ihre Automatisierung im Verhältnis zum Aufwand bringt. Kriterien sind unter anderem Ausführungshäufigkeit, Geschäftsrisiko, Stabilität der Funktion und die Umsetzbarkeit.

Wie funktioniert eine Bewertungsmatrix für Testautomatisierung?

Jeder Testfall bekommt für mehrere Kriterien Punkte, etwa 1 bis 3 für Häufigkeit, Risiko, Stabilität und Umsetzbarkeit. Die Summe zeigt, wie sehr sich die Automatisierung lohnt: je höher, desto eher. K.-o.-Kriterien wie eine einmalige Ausführung schließen eine Automatisierung unabhängig von der Punktzahl aus.

Welche Tests sollte man zuerst automatisieren?

Tests, die häufig laufen, geschäftskritische Funktionen prüfen, stabil sind und sich gut umsetzen lassen – zum Beispiel Anmeldung, zentrale Berechnungen oder wichtige Schnittstellen.

Welche Tests sollten manuell bleiben?

Selten ausgeführte Tests, Prüfungen von Funktionen, die sich noch stark ändern, und alles, was sich nicht eindeutig automatisch bewerten lässt, etwa Gestaltung, Verständlichkeit oder explorative Tests.

Wie misst man den Erfolg von Testautomatisierung?

Aussagekräftig sind eingesparter manueller Aufwand pro Release, die Zahl der Fehler, die durch automatisierte Tests früh gefunden werden, die Stabilität der Testsuite und der Pflegeaufwand – nicht die bloße Anzahl automatisierter Testfälle.

Branchen

Branchen­kompetenz

Jede Branche hat eigene Regeln, Risiken und Prüfer. Wir kennen sie aus der Praxis – und testen so, dass Ihre Software nicht nur funktioniert, sondern jeder Prüfung standhält.

  • Finanz­wirtschaft

    Online-Banking, Kernbanksysteme und regulierte Prozesse. Wir testen gegen hohe Sicherheits- und Compliance-Anforderungen – damit Releases planbar, nachvollziehbar und prüfbar bleiben.

    • BFSG
    • DORA
    • BAIT
  • Öffentliche Hand

    Fachverfahren, Bürgerportale und SAP-Landschaften. Barrierefreiheit nach BITV, saubere Abnahmen und eine Dokumentation, die jedem Audit standhält.

    • BITV 2.0
    • EN 301 549
    • SAP
  • IT & Software

    Für Softwarehersteller und IT-Dienstleister: Teststrategie, Automatisierung in der CI/CD-Pipeline und die Qualitätssicherung von KI-Funktionen – vom MVP bis zum Release.

    • CI/CD
    • Testautomatisierung
    • EU AI Act