LLM, RAG, Agent, Agentic AI: Vier Stufen, ein großes Missverständnis

„KI-Agent“ ist gerade das Wort, das jeder in den Mund nimmt. Mein Problem dabei: Die wenigsten meinen damit auch dasselbe. Meistens steckt hinter dem großen Namen ein simpler Chatbot – und für mich ist der Unterschied zwischen Chatbot und echtem Agenten kein semantisches Detail, sondern eine Frage von Risiko, Kontrolle und Kosten, die ich bei jedem Kundenprojekt neu durchdenke.

Tatsächlich handelt es sich um vier klar unterscheidbare Stufen. Jede davon erlaubt der KI mehr – und jede bringt aus meiner Erfahrung neue Dinge mit, die schiefgehen können.

Stufe 1: Das LLM – es antwortet

Ein LLM bekommt einen Prompt und etwas Kontext, sagt Wort für Wort voraus, was als Nächstes kommt, und liefert eine Antwort zurück. Mehr passiert nicht. Es weiß nur, was in seinem Training steckt, plus das, was man ihm gerade hineinkopiert. Kein Nachschlagen, keine Aktionen.

Für Texte formulieren, zusammenfassen oder Sachverhalte erklären finde ich das hervorragend. Sobald es aber um aktuelle Fakten geht – Preise, Verträge, den Stand eines Tickets – wird es riskant. Das Modell rät dann im Zweifel lieber plausibel, als zuzugeben, dass es die Antwort nicht kennt. Genau das sehe ich in Kundengesprächen immer wieder als Missverständnis.

Stufe 2: RAG – es schlägt erst nach

RAG (Retrieval Augmented Generation) schiebt einen Schritt davor: Die Anfrage geht zuerst an einen Retriever, der einen Index eurer eigenen Dokumente durchsucht. Die passendsten Textstellen wandern dann zusammen mit der Frage ins LLM. So entsteht eine Antwort, die auf euren Daten basiert – man könnte sagen, das Modell bekommt den passenden Aktenordner in die Hand gedrückt, statt nur aus dem Gedächtnis zu raten.

Mein Problem dabei ist: „Basierend auf euren Daten“ ist nicht dasselbe wie „garantiert richtig“. Der Retriever kann die falsche Passage ziehen, veraltete Dokumente im Index haben oder Kontext verlieren. Wenn ich mit Kunden über RAG-Projekte spreche, mache ich deshalb immer einen Punkt daraus: Grounding ist kein Freifahrtschein, um die Kontrolle über Inhalte abzugeben.

Stufe 3: Der AI Agent – er entscheidet und handelt

Hier ändert sich die Spielregel: Man gibt kein Prompt mehr, sondern ein Ziel. Der Agent hat ein LLM, Anweisungen und einen Task State, wählt selbst eine Aktion, ruft ein Tool auf – eine API, eine Datei, eine Datenbank – beobachtet das Ergebnis und wiederholt das Ganze, bis das Ziel erreicht ist.

Das ist für mich der Punkt, an dem KI aufhört zu reden und anfängt zu handeln. Und genau deshalb sehe ich hier auch die größte Verantwortung: Ein Agent, der eigenständig Tickets schließt, Rechnungen anlegt oder Zugriffsrechte vergibt, braucht klar definierte Grenzen. Sonst probiert er munter aus, was sein Werkzeugkasten alles hergibt – und das will ich bei keinem meiner Kunden erleben müssen.

Stufe 4: Agentic AI – es koordiniert

Auf der letzten Stufe bekommt das System kein einzelnes Ziel mehr, sondern ein übergeordnetes Vorhaben. Ein Orchestrator verteilt die Arbeit auf mehrere Agenten und Workflows, die alle denselben Task State lesen und aktualisieren. Eine Fortschrittsprüfung entscheidet am Ende, ob das Ziel erreicht ist oder neu geplant werden muss.

Der Vergleich, der es für mich am besten trifft: eine einzelne Fachkraft gegen ein ganzes Team mit Führung. Mehr Power, klar – aber auch mehr bewegliche Teile, die synchron bleiben müssen, und aus meiner Sicht mehr Stellen, an denen etwas aus dem Ruder laufen kann.

Und dann kommt noch der EU AI Act dazu

Was diese vier Stufen für mich nicht nur zu einem technischen, sondern zu einem handfesten Compliance-Thema macht, ist der EU AI Act. Er klassifiziert nicht nach „LLM“ oder „Agent“, sondern nach Risiko: je größer der mögliche Schaden für Menschen oder Grundrechte, desto strenger die Auflagen. Ein System, das Text zusammenfasst, fällt in eine andere Kategorie als eines, das eigenständig Entscheidungen trifft und in eure Prozesse eingreift – womit wir wieder bei Stufe 3 und 4 wären.

Die genauen Fristen dafür sind gerade in Bewegung: Ursprünglich sollten viele Pflichten für Hochrisiko-Systeme ab August 2026 greifen, mittlerweile sind Teile davon im Rahmen eines „Digital Omnibus“-Pakets auf Dezember 2027 verschoben worden. Bevor ihr Fristen in eure Planung einbaut, würde ich das über eine aktuelle offizielle Quelle oder mit eurer Rechtsabteilung gegenprüfen. Unabhängig vom genauen Datum bleibt der Grundgedanke der gleiche: Wer Nachvollziehbarkeit, Rechte-Management und Dokumentation schon jetzt mitdenkt, tut sich leichter, wenn die Fristen näher rücken.

Der Punkt, der für mich zählt

Diese vier Stufen sind für mich kein akademisches Ordnungsschema, sondern eine Frage der Kontrolle. Je mehr Handlungsspielraum ein System bekommt, desto wichtiger werden aus meiner Sicht:

• Rechte-Management: Wer oder was darf welches Tool wann aufrufen?
• Nachvollziehbarkeit: Lässt sich im Nachhinein rekonstruieren, warum eine Entscheidung getroffen wurde?
• Datenhoheit: Wo laufen die Daten, mit denen Retriever oder Agent arbeiten – und wer hat Zugriff darauf?

Gerade weil ich viel mit regulierten Branchen arbeite, setze ich bei zunicode konsequent auf Open-Source-Infrastruktur und selbst kontrollierte Umgebungen. Bei einem Chatbot auf Stufe 1 kann ich über verschwommene Antworten noch hinwegsehen. Bei einem Agenten, der eigenständig in eurer Systemlandschaft handelt, muss die Kontrolle für mich von Anfang an mitgedacht sein – und mit Blick auf den AI Act wird das ohnehin bald keine Kür mehr sein, sondern Pflicht.

Mein Rat: Nicht mit der ganz großen Agentic-AI-Vision starten. Ich empfehle, einen einzelnen, klar abgegrenzten Anwendungsfall auf Stufe 2 oder 3 zu wählen und als Pilotprojekt sauber aufzusetzen – inklusive Rechten, Protokollierung und einem Notausschalter. Dann weiß man aus erster Hand, wo die eigenen Daten und Prozesse stehen, bevor man die nächste Stufe angeht oder sich mit regulatorischen Fristen auseinandersetzen muss.

Einfach ausprobieren – mit einem klar abgesteckten Pilotprojekt, nicht mit der großen Vision. Das ist der Weg, der sich in der Praxis bewährt.

Quellen

1. Europäische Kommission: AI Act – offizielle Einordnung der vier Risikostufen (unannehmbares, hohes, begrenztes und minimales Risiko) im EU AI Act.
2. Gibson Dunn: EU AI Act Omnibus Agreement – Postponed High-Risk Deadlines and Other Key Changes, 27. Mai 2026 – Einordnung der im „Digital Omnibus“-Paket verschobenen Fristen für Hochrisiko-Systeme nach Anhang III (2. Dezember 2027) und Anhang I (2. August 2028).

Quellen abgerufen am 29. September 2026. Die vorgestellte Einteilung in vier Stufen ist eine eigene fachliche Einordnung aus der Projektpraxis; Fristen und Einstufungen nach dem EU AI Act können sich weiterentwickeln. Dieser Beitrag ist keine Rechtsberatung und ersetzt keine eigene Prüfung der jeweils aktuellen Regulierung.