KI im QA: Von ChatGPT-Experimenten zu Agentic Testing

Vojta, wie bist du zur KI gekommen?

Das war ungefähr 2022, als ich noch bei Škoda war. Ich begann, ChatGPT vor allem bei der Arbeit mit Java zu nutzen, zum Beispiel für Architekturentwürfe und Best Practices mit Selenium oder Appium. Ehrlich gesagt war das damals ziemlich mühsam.

Man schrieb einen Prompt und musste ihn manchmal zwanzigmal umformulieren, bis etwas Brauchbares herauskam. Dazu kam ein Limit: Nach einigen weiteren Fragen war der Chatverlauf weg, es gab einen HTTP-500-Fehler, und man musste wieder von vorn anfangen.

Heute verlassen sich die Leute schon ziemlich stark auf KI. Damals lernten wir erst, dass sie nicht immer recht hat: Die Modelle halluzinierten und klangen manchmal wie ein Horoskop. KI kann helfen, aber sie kann einen auch völlig auf die falsche Fährte bringen.

Wohin entwickelt sich QA als Fachgebiet?

Shift-Left-Testing ist heute besonders wichtig: Das Testen beginnt bereits im Backlog und läuft bis zum Merge in die Produktion. Statt erst am Ende der Entwicklung zu testen, wird kontinuierlich getestet, vom Entwurf bis zum Coding.

Gleichzeitig entsteht Shift-Right-Testing. Man beobachtet die Anwendung in der Produktion, sammelt Daten und gibt die Erkenntnisse an die Entwicklung zurück. Es geht nicht nur darum, die Anwendung zu „beobachten“, sondern Observability und Produktionsmonitoring in die Teststrategie einzubeziehen. 2024 wurde das zum Standard.

Shift-Left-Testing + Shift-Right-Testing = Continuous Testing. Testen im Kreislauf.

QA ist nicht nur die letzte Phase eines Projekts. Es ist ein fortlaufender Prozess, der das Produkt begleitet.

Wie setzt du KI heute konkret in der QA ein?

Die größte Veränderung sehe ich bei der Testautomatisierung und darin, dass KI zunehmend als Agent arbeitet. Mit Playwright lässt sich KI zum Beispiel einsetzen, um:

• Tests anzuleiten und zu generieren
• bei Edge Cases zu helfen
• Strukturen für E2E-, Komponenten-, Accessibility-, API- und UI-Tests vorzuschlagen
• Integrationstests abzudecken, alles außer Unit-Tests
• visuelle Tests zum Vergleich von Unterschieden zwischen Komponenten auszuführen (Applitools Eyes)
• Self-Healing-Tests zu unterstützen, indem sie Änderungen an einem Locator erkennen und ihn ersetzen

In weniger als zwei Jahren, also 2025, brachte Playwright fast jeden Monat Neuigkeiten und Verbesserungen heraus, darunter auch KI-Funktionen. Dann kam MCP und wenige Monate später Playwright CLI. Das hob die Arbeit von QA und SDET auf ein neues Niveau.

Welche allgemeinen QA-Tools werden verwendet?

Ich habe die Tools, die QA-Spezialisten im Laufe der Zeit verwendet haben, in einer Tabelle zusammengestellt, vom Webtesting über mobile Plattformen bis hin zum Reporting.

Jam und ähnliche Tools: Was funktioniert, was nicht?

Jam ist ein Triage-Tool und kein Ersatz fürs Testen. Es ist eine Chrome-Erweiterung (auch für iOS verfügbar), die:

• die letzte Minute als Video aufnehmen kann
• Fehler in der Konsole, Nutzeranmerkungen und Netzwerkaktivitäten erfasst
• mithilfe von KI die Schritte des Nutzers beschreibt

Es gibt eine kostenlose Version (30 Reports pro Monat) und eine kostenpflichtige (14 bis 16 USD). Das Tool hat aber auch Nachteile: Alles läuft in der Cloud des Anbieters, daher muss man sich mit Datensicherheit befassen. Außerdem wird ein Edge Case normalerweise nur dann erfasst, wenn gerade eine Aufzeichnung läuft.

Tipp: Die Verbindung mit Sentry bringt Jam auf ein noch höheres Niveau.

KI-Tools für den Arbeitsalltag: ChatGPT, Gemini oder NotebookLM?

Jedes Tool hat seinen Platz:

ChatGPT eignet sich gut zum Durchdenken von Themen, aber die Ergebnisse müssen überprüft werden. Für Kleinigkeiten ist es in Ordnung; für die Arbeit sind Gemini oder Claude besser geeignet.

Gemini hat ein riesiges Kontextfenster (bis zu zwei Millionen Wörter), arbeitet aber weniger gut mit Chatverläufen.

NotebookLM ist für mich ein Gamechanger. Man lädt Quellen hoch, und das Tool arbeitet damit. Es eignet sich für Recherche und als eine Art Gedächtnis für Gemini oder Claude Code. Ich halte das für eine der größten Entwicklungen der letzten vier Jahre.

Wie kommen wir vom „Chatten mit einem Bot“ zum Agentic Testing?

MCP ist die technologische Brücke zum echten Agentic Testing, bei dem die KI selbstständig eine Entwicklungsumgebung steuert. MCP ist ein Protokoll, das LLMs einen sicheren Zugriff auf lokale Daten und Tools ermöglicht.

Wer nicht alles manuell testen möchte, findet heute in Playwright und seinem Ökosystem (MCP, CLI, Axe und Chromatic) den stärksten Ansatz.

Worin unterscheiden sich Entwickler und Vibe-Coder?

Den Unterschied sieht man schon heute:

• Vibe-Coder erzeugen schnell Code, ignorieren dabei aber Sicherheits- und Rechtsfragen. So entsteht technische Schuld („Vibe-Debt“): Sie generieren Code, den sie selbst nicht verstehen („Ownership Gap“). Wenn etwas schiefgeht oder ein Refactoring nötig wird, können sie den Code nicht selbst debuggen.
• Entwickler mit Framework sind ebenfalls vielversprechend, zumindest bis zum nächsten größeren Update.
• Klassische Entwickler / Agentic Engineers verstehen, was unter der Haube passiert. KI hilft bei einfachen Projekten, komplexe Systeme erfordern aber weiterhin fundiertes Wissen.

KI kann bei WordPress oder einfachen Projekten helfen. Bei komplexen Systemen braucht man weiterhin tiefes Fachwissen, kritisches Denken und ein eigenes Vorgehen.

Wo ist menschliche Intelligenz gefragt und wo reicht KI?

Die Übersicht zeigt, welche QA-Aufgaben die KI ausführen kann, welche eine menschliche Prüfung erfordern (HI Review) und welche vollständig in menschlicher Verantwortung bleiben müssen (HI Owns).

Woran scheitert KI in der QA?

KI hat derzeit große Schwierigkeiten mit zustandsbehafteten (stateful) Integrationen, komplexer Datenorchestrierung über mehrere Microservices hinweg und lang laufenden asynchronen Abhängigkeiten. Ohne menschliche Intelligenz (HI) und architektonische Aufsicht kann dieser Ansatz zu einem enormen Anstieg falscher Positivmeldungen führen.

Werden Entwicklerstellen verschwinden?

Entwickler werden nicht ersetzt, ihre Aufgaben verändern sich vielmehr. Es entstehen neue Berufe:

• AI Checker, prüft KI-Ergebnisse auf Qualität, Sicherheit und Richtigkeit
• Localization QA / LLM Fine-Tuning Specialist, bringt der KI Sprache und Kultur bei, damit sie keine Fehler macht
• AI Coordinator / Orchestrator, koordiniert KI-Tools und Agenten sowie eine AI-Sandbox und AIOS
• In QA und SDET: AI Orchestrator, SDET AI-Driven, AI-Augmented Quality Engineer und QA Machine Learning Engineer

Was ist die wichtigste Regel?

Lerne erst rechnen und benutze dann den Taschenrechner. Wer die Grundlagen nicht versteht, kann sich von der KI leicht in die Irre führen lassen.

KI ist ein Werkzeug. Sie ersetzt nicht das eigene Denken.

Weitere Grundsätze von Vojta:

• Es ist in Ordnung, nicht immer auf dem neuesten Stand zu sein, Tools, Modelle, Methoden und Skills verändern sich in Echtzeit.
• Wer nicht in der IT arbeitet, kann ruhig programmieren, sollte aber an Auswirkungen und Ethik denken.
• KI bringt große Veränderungen in die QA: Automatisierung durch Agenten, Continuous Testing über den gesamten Lebenszyklus, bessere Nutzung von Produktionsdaten und neue Tools wie NotebookLM.
• Suche nach neuen Tools und ersetze alte, aber behalte die Kernwerkzeuge, wenn sie sinnvoll sind.

Zum Schluss: Hast du neben QA noch andere Hobbys?

Früher hatte ich sehr viele Hobbys, aber inzwischen nimmt unser Welpe Ulli den Großteil meiner Freizeit ein. Am Wochenende gehen wir zusammen zum Obedience- und Agility-Training, und wir genießen es beide. Außerdem entwickle ich eine Plattform für Hundebesitzer.

Danke für das Gespräch, Vojta, und alles Gute!