Kdy AI agent přestane být experimentem a začne být skutečným firemním procesem?

Moderní AI agenti dokážou řešit širokou škálu úkolů. A právě to může být problém.

Představte si, že AI agentovi zadáte: „Tady je nahlášená chyba v aplikaci. Analyzuj ji, oprav a vytvoř pull request.“

Moderní AI modely dokážou takový úkol zvládnout. Mají přístup k nástrojům, dokumentaci i zdrojovému kódu a mohou samostatně rozhodovat o dalších krocích.

Tento přístup je mimořádně flexibilní. Má ale několik nevýhod:

• Výsledky nejsou vždy předvídatelné.

• Jednotlivá rozhodnutí se obtížně kontrolují a auditují.

• Složitěji se zajišťuje škálování.

• Provoz výkonných AI modelů může být nákladný.

Pro experimentování to nemusí představovat zásadní problém. Pro firemní proces, který má spolehlivě fungovat každý den, už ano.

Řešení? Nedávat AI více svobody, než potřebuje.

Základní princip produkčních agentních systémů je překvapivě jednoduchý: AI by měla rozhodovat jen tam, kde je její inteligence skutečně potřeba.

Místo jednoho univerzálního agenta, který řídí celý proces, lze vytvořit strukturované workflow složené z menších, přesně definovaných kroků.

V praxi se využívají čtyři základní komponenty:

• Tool: Konkrétní nástroj vykonávající jednu činnost, například načtení dokumentace.

• Agent: AI model vybavený instrukcemi a pouze těmi nástroji, které potřebuje.

• Step: Samostatný krok kombinující programovou logiku, nástroje a případně AI agenty.

• Workflow: Celý proces, který určuje pořadí kroků, větvení a situace vyžadující lidské rozhodnutí.

Výsledkem je systém, který sice ztrácí část flexibility univerzálního agenta, ale získává na předvídatelnosti, kontrolovatelnosti a efektivitě.

Praktický příklad: AI automatizuje zpracování softwarových chyb

Vojta ve své přednášce ukázal konkrétní workflow pro automatizované zpracování chyb v aplikaci.

Jakmile uživatel nahlásí problém, systém může:

1. Analyzovat hlášení: AI prozkoumá dokumentaci a zdrojový kód a ověří, zda se skutečně jedná o chybu.
2. Vyhodnotit problém: Rozhodne, zda jde o chybné hlášení, jednoduchou opravu, nebo složitější problém.
3. Automaticky reagovat: Pokud nejde o chybu, připraví odpověď uživateli. U jednoduché opravy může vytvořit pull request.
4. Zapojit člověka: Pokud nemá dostatek informací nebo nedokáže bezpečně rozhodnout, proces pozastaví a vyžádá si lidský zásah.
5. Pokračovat v procesu: Po rozhodnutí člověka workflow naváže tam, kde skončilo.

Nejde tedy o jednorázový prompt, ale o součást existujícího softwarového systému, která může reagovat na události automaticky.

Workflow se může automaticky spustit například při vytvoření ticketu, prostřednictvím webhooku nebo na základě pravidelné kontroly systémových logů.

Co když AI udělá chybu? Musíme vědět proč.

Jedním z nejdůležitějších témat produkční AI je observabilita.

Každý krok workflow by měl uchovávat informace o vstupu a výstupu. Pomocí tracingu lze navíc sledovat použitý model, jeho rozhodnutí a průběh jednotlivých kroků.

Díky tomu lze zpětně zjistit, proč agent postupoval určitým způsobem, identifikovat chybu a proces dále optimalizovat.

Stejně důležité je průběžné vyhodnocování kvality pomocí tzv. evaluací.

Ty mohou fungovat dvěma způsoby:

• Offline evaluace: Testování při změnách modelu, promptu nebo procesní logiky, ještě před nasazením do produkce.

• Online evaluace: Průběžné sledování výsledků během skutečného provozu, které pomáhá odhalit změny v chování AI modelů.

Kvalitu přitom mohou kontrolovat jak klasické programové testy, tak další AI modely.

Výkonnější model nemusí být vždy lepší volbou

Strukturované workflow přináší také možnost optimalizovat náklady.

Ne každý úkol potřebuje nejvýkonnější a nejdražší AI model. Jednoduché čtení dokumentace může zvládnout levnější model, zatímco složitější rozhodování lze svěřit výkonnějšímu.

Díky evaluacím lze porovnávat kvalitu jednotlivých modelů a rozhodovat se podle skutečných výsledků.

Vojta ve své přednášce uvádí ilustrativní příklad: levnější model může dosáhnout výsledků pouze o 2–3 % horších, ale při nákladech nižších až o 98 %. V takovém případě může být jeho dlouhodobé využívání výrazně ekonomičtější.

Cílem není používat nejdražší AI, ale dosahovat požadované kvality za rozumné náklady.

Kdy tedy AI agent přestává být experimentem?

AI agent přestává být experimentem ve chvíli, kdy se stává součástí existujícího softwaru. Když je jeho inteligence využívána pouze tam, kde přináší skutečnou hodnotu, zatímco zbytek procesu zůstává definovaný, kontrolovatelný a měřitelný.

Když víme, co má dělat, dokážeme kontrolovat jeho rozhodnutí, měřit výsledky, testovat změny a v případě potřeby zapojit člověka.

Právě tímto způsobem přistupujeme k vývoji agentních systémů v ProRocketeers. K jejich nasazení a provozu využíváme naši vlastní platformu Rock8Cloud.

AI není potřeba svěřit celý proces. Je potřeba ji správně začlenit do procesu, který dokážeme řídit.

Podívejte se na praktickou ukázku

V přednášce Kdy agent přestane být experiment a začne být proces ukazuje Vojta konkrétní implementaci agentního workflow v TypeScriptu, jeho testování, observabilitu i uživatelské rozhraní pro práci s automatizovanými procesy.

A co je nejlepší? Ukázková aplikace je dostupná také jako blueprint v Rock8Cloudu.

Můžete si ji sami nasadit a celý automatizovaný proces využívat nad vlastním repozitářem.

💻 Prohlédnout ukázkovou aplikaci na GitHubu

🎥 Záznam přednášky na YouTube

📊 Prezentace k přednášce

Chcete posunout AI od experimentů k reálným firemním procesům?

V ProRocketeers navrhujeme a vyvíjíme agentní systémy na míru, které propojují AI s existujícími aplikacemi a firemními procesy.

Firmám poskytujeme bezplatné úvodní AI školení, praktické workshopy, pomoc s budováním AI rapid prototyping týmů i vývoj AI agentních systémů na míru.