AI v QA: Od ChatGPT pokusů k agentic testování

AI dnes mění způsob, jak pracují vývojáři. Ale co QA? A v čem AI selhává? O tom jsem si povídala s QA specialistou Vojtěchem Jírou z ProRocketeers, který AI nástroje aktivně testuje a zapojuje do každodenní praxe.

Vojto, jak ses dostal k AI?

Bylo to někdy kolem roku 2022, kdy jsem byl ještě ve Škodovce. Začal jsem používat ChatGPT hlavně při práci s Javou – třeba na návrhy architektury a best practices se Seleniumem nebo Appiem. Upřímně, tehdy to bylo dost bolesné.

Napsal jsi prompt a musel jsi ho klidně 20× přepisovat, než jsi dostal něco použitelného. Navíc byl limit – víc dotazů a vlákno zaniklo, HTTP 500, a začínalo se znova.

Dneska už se lidi spoléhají na AI až moc. Tehdy jsme se naopak učili, že to není pravda – modely halucinovaly a dávaly dojem něčeho jako horoskop. Může ti to pomoct, ale taky tě to může úplně rozhodit. 

Kam se QA jako obor posouvá?

Hodně důležité je dnes Shift-Left-Testing – testování už od backlogu až po merge na produkci. Namísto tradičního přístupu, kdy se testuje až na konci vývoje, se testuje průběžně od návrhu a kódování.

A zároveň vzniká Shift-Right-Testing – sleduješ aplikaci v produkci, sbíráš data a vracíš je zpět do vývoje. Nejde jen o „sledování“, ale o integraci observability a monitoringu produkčních dat zpět do testovací strategie. V roce 2024 se to stalo standardem.

Shift-Left-Testing + Shift-Right-Testing = Continuous Testing. Testování zacyklené.

QA není jen o konci projektu – je to živý proces, který existuje s produktem.

Jak AI reálně používáš v QA dnes?

Největší posun vidím v automatizaci testování a v tom, že AI začíná fungovat jako agent. Například u Playwrightu se dá AI využít tak, že:

• navádí testování a generuje testy

• pomáhá s edge cases

• navrhuje strukturu pro E2E, component, accessibility, API a UI testování

• pokryje integrační testy – vše kromě unit testů

• vizuální testování pro porovnání rozdílů mezi komponentami (Applitools Eyes)

• self-healing testování – odhalí, zda se lokátor změnil, a nahradí ho

Za necelé dva roky, v roce 2025, se u Playwrightu vydávaly skoro každý měsíc novinky a vylepšení včetně AI. Pak přišel MCP a za pár měsíců Playwright CLI – to změnilo práci QA a SDET na novou úroveň. 

 Jaké obecné QA nástroje se používají?

Nástroje, které QA specialisté používali a používají – od webového testování přes mobilní platformy až po reportování jsem seřadil do tabulky.

Jam a podobné nástroje: co funguje a co ne?

Jam je triage tool, nikoliv náhrada za testování. Jedná se o plugin do Chromu (dostupný i pro iOS), který:

• umí nahrát poslední minutu jako video

• zachytí chyby v konzoli, uživatelské anotace a v síti

• popíše kroky uživatele pomocí AI

Je tam free verze (30 reportů/měsíc) i placená (14–16 USD). Ale má i nevýhody – vše běží na jejich cloudu, musíš řešit bezpečnost s daty, a edge case většinou zachytíš jen jednou, pokud nahrávání běží.

Tip: Propojení s Sentry posouvá Jam na ještě vyšší úroveň.

AI nástroje pro každodenní práci – ChatGPT, Gemini, nebo NotebookLM?

Každý nástroj má svoji roli:

ChatGPT – dobrý na přemýšlení, ale výstupy je třeba kontrolovat. Na drobné věci OK, k práci je ale lepší Gemini nebo Claude.

Gemini – obrovský kontext (až 2 miliony slov), ale horší práce s vlákny.

NotebookLM – za mě game changer. Nahráš zdroje a on s nimi pracuje. Vhodný pro research a jako paměť pro Gemini nebo Claude Code. Tohle je podle mě jeden z největších posunů za poslední 4 roky.

Jakým způsobem dojde k přechodu z „povídání si s chatem“ na Agentic Testing?

Právě MCP je oním technologickým mostem ke skutečnému Agentic Testing, kde AI samostatně ovládá vývojářské prostředí. MCP je protokol umožňující LLM bezpečný přístup k lokálním datům a nástrojům.

Pokud nechceš vše testovat ručně, Playwright s jeho ekosystémem (MCP, CLI, Axe, Chromatic) je dnes nejsilnější cesta.

 Jak se od sebe liší vývojáři od vibe coderů?

Už dneska vidíš rozdíl:

• Vibe coděři – rychle generují kód, ale ignorují security i právní aspekty. Vzniká technologický dluh (Vibe-debt) – generují kód, kterému sami nerozumí (Ownership Gap). V okamžiku selhání nebo nutnosti refaktoringu nejsou schopni kód debugovat.

• Vývojář s frameworkem – také slibný, ale dokud nepřijde větší aktualizace.

• Klasický vývojář / agentic engineer – rozumí tomu, co se děje pod kapotou. AI pomůže s jednoduchými projekty, ale u komplexních systémů potřebuješ hluboké znalosti.

AI ti pomůže třeba s WordPressem nebo jednoduchými projekty. Ale u komplexních systémů pořád potřebuješ hluboké znalosti, kritické myšlení a svůj vlastní systém.

Kde je potřeba Human Intelligence a kde stačí AI?

Přehled toho, které činnosti v QA může převzít AI exekuce, které vyžadují lidský náhled (HI Review) a které musí vlastnit člověk (HI Owns).

V čem AI v QA selhává?

AI v současnosti fatálně selhává u stavových (stateful) integrací, komplexní orchestrace dat napříč mikroslužbami a dlouho běžících asynchronních závislostí. Bez lidské inteligence (HI) a architektonického dozoru vede tento přístup k obřím nárůstu falešné pozitivity.

Budou zanikat pozice vývojářů?

Vývojáři nebudou nahrazeni – spíš se změní jejich role. Vznikají nové profese:

• AI checker – kontroluje výstupy AI (kvalitu, bezpečnost, správnost)

• Localization QA / LLM Fine-tuning Specialist – učí AI jazyk a jeho kulturu, aby nedocházelo k mutaci

• AI koordinátor / orchester – koordinuje AI nástroje a agenty, orchestruje AI sandbox a AIOS

• Pro QA a SDET: AI Orchestrator, SDET AI-Driven, AI-augmented Quality Engineers, QA Machine Learning Engineer

Jaké je jedno pravidlo nad všechna?

Naučte se počítat, pak používejte kalkulačku. Když nerozumíš základům, AI tě může snadno zmást.

AI je nástroj. Ne náhrada za přemýšlení.

Další zásady podle Vojty:

• Je v pořádku být pozadu – v reálném čase se mění nástroje, modely, postupy i skills.

• Pro non-IT: klidně programujte, ale myslete na dopady a etiku.

• AI v QA přináší obrovský posun – automatizaci pomocí agentů, continuous testing přes celý lifecycle, lepší práci s daty z produkce a nové nástroje jako NotebookLM.

• Hledejte nové nástroje, obměňujte staré, ale držte core nástroje, pokud dávají smysl.

Závěrem: máš kromě QA ještě nějaké další koníčky?
Dřív jsem měl koníčků opravdu hodně, ale teď většinu volného času zabere naše štěně Ulli. O víkendech spolu chodíme na obedience a agility, což si oba užíváme. Kromě toho se věnuji také vývoji platformy pro pejskaře.

Děkuji za rozhovor, Vojto, a ať se ti daří!