Wann wird ein KI-Agent vom Experiment zum echten Geschäftsprozess?

Moderne KI-Agenten können eine Vielzahl von Aufgaben übernehmen. Und genau das kann zum Problem werden.

Stellen Sie sich vor, Sie geben einem KI-Agenten folgende Aufgabe:

„Hier ist ein gemeldeter Fehler in einer Anwendung. Analysiere ihn, behebe ihn und erstelle einen Pull Request.“

Moderne KI-Modelle sind in der Lage, solche Aufgaben zu bewältigen. Sie können auf Tools, Dokumentationen und Quellcode zugreifen und selbstständig entscheiden, welche Schritte als Nächstes erforderlich sind.

Dieser Ansatz bietet eine enorme Flexibilität. Allerdings bringt er auch einige Nachteile mit sich:

• Die Ergebnisse sind nicht immer vorhersehbar.

• Einzelne Entscheidungen lassen sich nur schwer kontrollieren und auditieren.

• Die Skalierung wird komplexer.

• Der Betrieb leistungsfähiger KI-Modelle kann hohe Kosten verursachen.

Beim Experimentieren sind diese Einschränkungen möglicherweise kein großes Problem. Für einen Geschäftsprozess, der täglich zuverlässig funktionieren muss, hingegen schon.

Die Lösung? Der KI nicht mehr Freiheit geben als nötig.

Das Grundprinzip produktionsreifer agentischer Systeme ist überraschend einfach: KI sollte nur dort Entscheidungen treffen, wo ihre Intelligenz tatsächlich benötigt wird.

Anstatt einen einzigen universellen Agenten den gesamten Prozess steuern zu lassen, kann ein strukturierter Workflow aus kleineren, klar definierten Schritten aufgebaut werden.

In der Praxis kommen dabei vier grundlegende Bausteine zum Einsatz:

• Tool: Ein konkretes Werkzeug, das eine einzelne Aufgabe ausführt, beispielsweise das Abrufen von Dokumentationen.

• Agent: Ein KI-Modell, das mit Anweisungen und ausschließlich den benötigten Tools ausgestattet ist.

• Step: Ein eigenständiger Schritt, der Programmlogik, Tools und gegebenenfalls KI-Agenten kombiniert.

• Workflow: Der gesamte Prozess, der die Reihenfolge der Schritte, Verzweigungen und Situationen definiert, in denen eine menschliche Entscheidung erforderlich ist.

Das Ergebnis ist ein System, das zwar einen Teil der Flexibilität eines universellen Agenten einbüßt, dafür aber an Vorhersehbarkeit, Kontrollierbarkeit und Effizienz gewinnt.

Praxisbeispiel: KI automatisiert die Bearbeitung von Softwarefehlern

In seinem Vortrag demonstrierte Vojta einen konkreten Workflow zur automatisierten Bearbeitung von Softwarefehlern.

Sobald ein Nutzer ein Problem meldet, kann das System:

1. Die Fehlermeldung analysieren: Die KI untersucht die Dokumentation und den Quellcode und prüft, ob es sich tatsächlich um einen Fehler handelt.
2. Das Problem bewerten: Das System entscheidet, ob die Meldung unbegründet ist, eine einfache Korrektur erfordert oder ein komplexeres Problem vorliegt.
3. Automatisch reagieren: Handelt es sich nicht um einen Fehler, erstellt das System eine Antwort an den Nutzer. Bei einer einfachen Korrektur kann es einen Pull Request erstellen.
4. Einen Menschen einbeziehen: Wenn nicht genügend Informationen vorliegen oder das System keine sichere Entscheidung treffen kann, wird der Workflow angehalten und eine menschliche Entscheidung angefordert.
5. Den Prozess fortsetzen: Sobald ein Mensch eine Entscheidung getroffen hat, wird der Workflow an der entsprechenden Stelle fortgesetzt.

Es handelt sich also nicht mehr um einen einmaligen Prompt, sondern um einen Bestandteil eines bestehenden Softwaresystems, der automatisch auf Ereignisse reagieren kann.

Ein Workflow kann beispielsweise automatisch gestartet werden, wenn ein Ticket erstellt wird, über einen Webhook oder durch eine regelmäßige Überprüfung von Systemlogs.

Was passiert, wenn die KI einen Fehler macht? Wir müssen wissen, warum.

Eines der wichtigsten Themen beim produktiven Einsatz von KI ist die Observability (Beobachtbarkeit).

Jeder Schritt eines Workflows sollte Informationen über seine Eingaben und Ausgaben speichern. Mithilfe von Tracing lassen sich außerdem das verwendete Modell, seine Entscheidungen und die Ausführung der einzelnen Schritte nachvollziehen.

Dadurch lässt sich im Nachhinein verstehen, warum ein Agent auf eine bestimmte Weise gehandelt hat. Fehler können identifiziert und Prozesse kontinuierlich optimiert werden.

Ebenso wichtig ist die laufende Qualitätsbewertung durch sogenannte Evaluierungen.

Diese können auf zwei Arten erfolgen:

• Offline-Evaluierungen: Tests bei Änderungen am Modell, an Prompts oder an der Workflow-Logik, noch bevor diese in die Produktionsumgebung übernommen werden.

• Online-Evaluierungen: Kontinuierliche Überwachung der Ergebnisse im laufenden Betrieb, um Veränderungen im Verhalten der KI-Modelle frühzeitig zu erkennen.

Die Qualität kann sowohl durch klassische automatisierte Tests als auch durch weitere KI-Modelle überprüft werden.

Ein leistungsfähigeres Modell ist nicht immer die bessere Wahl

Strukturierte Workflows ermöglichen auch eine gezielte Kostenoptimierung.

Nicht jede Aufgabe erfordert das leistungsfähigste und teuerste KI-Modell. Eine einfache Aufgabe wie das Abrufen von Dokumentationen kann möglicherweise von einem kostengünstigeren Modell übernommen werden, während komplexere Entscheidungen einem leistungsfähigeren Modell überlassen werden.

Mithilfe von Evaluierungen lässt sich die Qualität verschiedener Modelle vergleichen und auf Grundlage tatsächlicher Ergebnisse entscheiden, welches Modell am besten geeignet ist.

Vojta nennt in seinem Vortrag ein anschauliches Beispiel: Ein kostengünstigeres Modell kann Ergebnisse liefern, die nur um 2–3 % schlechter sind, während die Kosten um bis zu 98 % niedriger ausfallen. In einem solchen Fall kann der langfristige Einsatz des kleineren Modells deutlich wirtschaftlicher sein.

Das Ziel ist nicht, die teuerste KI einzusetzen, sondern die erforderliche Qualität zu angemessenen Kosten zu erreichen.

Wann hört ein KI-Agent also auf, ein Experiment zu sein?

Ein KI-Agent hört auf, ein Experiment zu sein, sobald er Teil eines bestehenden Softwaresystems wird. Wenn seine Intelligenz nur dort eingesetzt wird, wo sie einen echten Mehrwert bietet, während der restliche Prozess klar definiert, kontrollierbar und messbar bleibt.

Wenn klar ist, welche Aufgaben er erfüllen soll, wenn wir seine Entscheidungen nachvollziehen, Ergebnisse messen, Änderungen testen und bei Bedarf Menschen einbeziehen können.

Genau nach diesem Prinzip entwickeln wir bei ProRocketeers agentische KI-Systeme. Für deren Bereitstellung und Betrieb nutzen wir unsere eigene Plattform Rock8Cloud.

Die KI muss nicht den gesamten Prozess steuern. Entscheidend ist, sie sinnvoll in einen Prozess zu integrieren, den wir kontrollieren können.

Sehen Sie sich die praktische Umsetzung an

In seinem Vortrag When Does an Agent Stop Being an Experiment and Become a Process? zeigt Vojtěch die konkrete Implementierung eines agentischen Workflows in TypeScript – einschließlich Tests, Observability und einer Benutzeroberfläche zur Verwaltung automatisierter Prozesse.

Und das Beste daran?

Die Demo-Anwendung steht auch als Blueprint in Rock8Cloud zur Verfügung. Sie können sie selbst deployen und den gesamten automatisierten Workflow mit Ihrem eigenen Code-Repository nutzen.

💻 Demo-Anwendung auf GitHub ansehen

🎥 Vortrag auf YouTube ansehen

📊 Präsentation zum Vortrag ansehen

Möchten Sie KI-Experimente in echte Geschäftsprozesse überführen?

Bei ProRocketeers konzipieren und entwickeln wir maßgeschneiderte agentische KI-Systeme, die künstliche Intelligenz mit bestehenden Anwendungen und Geschäftsprozessen verbinden.

Wir bieten Unternehmen kostenlose KI-Einführungsschulungen, praxisorientierte Workshops, Unterstützung beim Aufbau von KI-Rapid-Prototyping-Teams sowie die Entwicklung maßgeschneiderter KI-Agentensysteme.