Die Entwicklung der Künstlichen Intelligenz hat in den letzten Jahren mit dem Aufkommen von großen Sprachmodellen einen bemerkenswerten Sprung gemacht. Besonders interessant ist derzeit die Entwicklung und Entstehung von KI-Agenten, die als (teil-)autonome Softwaresysteme zunehmend komplexe Aufgaben bewältigen können. Doch was verbirgt sich eigentlich hinter diesem Begriff und was können KI-Agenten eigentlich wirklich leisten?

Die digitale Transformation kennt keine Verschnaufpausen. Gerade erst haben wir uns an ChatGPT und seine erstaunlichen Fähigkeiten gewöhnt, da kündigt sich bereits die nächste Revolution an: Autonome KI-Agenten. Was zunächst nach Science-Fiction klingt, hat in der Softwareindustrie bereits konkrete Formen angenommen, und die großen Technologieunternehmen überbieten sich gegenseitig mit ambitionierten Ankündigungen. Salesforce plant nicht weniger als eine Milliarde KI-Agenten bis Ende 2025, während Microsoft stolz verkündet, dass bereits 60 Prozent der Fortune-500-Unternehmen ihren Copilot nutzen.

Die Vision ist verlockend: Eine virtuelle Belegschaft, die rund um die Uhr arbeitet, Routineaufgaben übernimmt und dabei kontinuierlich dazulernt. Die ersten Erfolgsmeldungen aus der Praxis klingen vielversprechend. Lumen Technologies rechnet mit jährlichen Einsparungen von 50 Millionen Dollar, während Honeywell von Produktivitätssteigerungen berichtet, die der Leistung von 187 Vollzeitmitarbeitern entsprechen. Bei Finastra ist die Produktionszeit für kreative Inhalte von sieben Monaten auf sieben Wochen geschrumpft. Besonders beeindruckend sind auch die Erfolge bei Pets at Home in Großbritannien, wo ein einzelner Agent jährliche Einsparungen in siebenstelliger Höhe ermöglicht, während McKinsey von 90% schnelleren Onboarding-Prozessen berichtet.

Das Timing dieser Entwicklung könnte kaum besser sein. In den kommenden Jahren werden Millionen von Baby-Boomern in den Ruhestand gehen. KI-Agenten versprechen hier nicht nur eine Lösung für den drohenden Fachkräftemangel, sondern auch die Möglichkeit, das wertvolle Wissen dieser Generation zu bewahren und weiterzugeben.

Doch fangen wir mal von vorne an...

Was sind KI-Agenten eigentlich?

Interessanterweise gibt es keine einheitliche Definition für KI-Agenten, was die Dynamik und Komplexität dieses Feldes widerspiegelt. Im Kern bezeichnet der Begriff autonome Softwaresysteme, die in ihrer Umgebung wahrnehmen, lernen, planen und handeln können, um vorgegebene Ziele zu erreichen. Diese Systeme kombinieren verschiedene KI-Technologien und können sowohl selbstständig als auch in Zusammenarbeit mit Menschen arbeiten.

Der aktuelle Stand der Technik ist dabei sowohl beeindruckend als auch ernüchternd. Streng genommen haben wir es heute noch nicht mit „echten“ KI-Agenten zu tun, da die aktuellen Systeme nicht im klassischen Sinne lernfähig sind. Sie können lediglich „In-Context Learning“ einsetzen, etwa durch RAG (Retrieval-Augmented Generation), bei dem sie wie eine Suchmaschine Informationen finden und auswerten oder Informationen aus ihrem eigenen Output wieder im Input verwenden.

Ein spannendes Beispiel für einen KI-Agenten ist Sakanas AI Scientist, der zeigt, was mit aktuellen Methoden bereits möglich ist. Dieses vollautomatisierte System zur wissenschaftlichen Entdeckung generiert eigenständig Forschungsideen, führt Experimente durch, analysiert Ergebnisse und verfasst wissenschaftliche Artikel. Der gesamte Forschungsprozess wird iterativ verfeinert, ähnlich wie in der menschlichen Wissenschaftsgemeinschaft.

In veröffentlichten Tests wurde das System für die Forschung im Bereich des maschinelles Lernens eingesetzt und entdeckte dabei neue Ansätze in Bereichen wie Diffusionsmodelle und Transformer. Trotz beeindruckender Fortschritte gibt es noch Herausforderungen bei der Genauigkeit und der Automatisierung visueller Aufgaben.

Die ersten KI-Agenten

Die ersten praktischen Implementierungen von KI-Agenten zeigten sich bereits 2023 in verschiedenen Ausprägungen: Vollständig autonome Agenten wie „AutoGPT“ nutzen Chain-of-Thought-Prompting, um komplexe Aufgaben in Teilschritte zu zerlegen und diese systematisch abzuarbeiten.

Dabei überprüfen sie ihre eigenen Ergebnisse durch Self-Validation und nehmen bei Bedarf Korrektungen vor. Eine spannende Entwicklung sind auch Multi-Agent-Systeme, bei denen verschiedene, jeweils auf bestimmte Aufgaben spezialisierte Agenten als Team zusammenarbeiten. Diese können entweder zentral gesteuert werden oder eigenständig entscheiden, welche anderen Agenten sie zur Problemlösung hinzuziehen.

Agenten auch in ChatGPT

Ein pragmatischer Ansatz ist auch mit ChatGPT möglich, bei dem der sicherere „Human-in-the-Loop“-Ansatz beibehalten wird, bei dem Menschen aktiv in den Prozess eingebunden bleiben.

In ChatGPT können beispielsweise Custom GPTs erstellt werden, die über APIs Zugriff auf verschiedene Tools erhalten. In einem System-Prompt werden dem GPT Anweisungen für seine Vorgehensweise gegeben, wodurch komplexe Aufgaben bewältigt werden können. Verschiedene spezialisierte GPTs können dann in einem zentralen Chat mittels Ansprache per @-Zeichen koordiniert und deren Ergebnisse kombiniert und weiterverarbeitet werden.

Wie sieht die Architektur eines KI-Agenten aus?

Die Architektur moderner KI-Agenten ist dabei hochkomplex. Im Zentrum steht eine Kernarchitektur, die als zentrale Verarbeitungseinheit fungiert und alle Teilsysteme koordiniert. Wahrnehmungsmodule verarbeiten verschiedene Arten von Eingabedaten, sei es Text, Bild, Audio oder Video, und ermöglichen so ein umfassendes Kontextverständnis.

Ein ausgeklügeltes Planungsmodul analysiert Probleme strategisch und entwickelt Handlungspläne, wobei häufig „Chain-of-Thought“ oder Tree-of-Thought Prompting zum Einsatz kommt. Eine spannende Neuentwicklung ist hier OpenAIs o1 a.k.a. Strawberry das eine Art „Silent Tree-of-Thought“ mit interner Bewertung der Planungen/Gedanken als Optimierungsziel verwendet.

Eine besondere Herausforderung derzeit ist das Gedächtnissystem der Agenten. Sie verfügen quasi über ein Kurzzeit- und ein simuliertes Langzeitgedächtnis, wobei letzteres meist nur innerhalb des Context Windows funktioniert. Ein echtes erfahrungsbasiertes Lernen ist in der Regel nicht implementiert.

Bei ChatGPT beispielsweise funktioniert die Erinnerungsfunktion über einen cleveren Prompt-Mechanismus: Der Agent fragt sich selbst, welche Informationen aus der Konversation wichtig genug sein könnten, um sie sich dauerhaft für diesen Benutzer zu merken. Diese werden dann in eine Liste von „Erinnerungen“ aufgenommen und beim nächsten Prompt automatisch eingefügt.

Stärken von KI-Agenten

Die Stärken aktueller KI-Agenten liegen vor allem in der systematischen Analyse von Problemen, der Entwicklung strukturierter Lösungsansätze und der parallelen Bearbeitung mehrerer Aufgaben. Durch die Integration verschiedener Tools und die Automatisierung von Prozessen können sie Ressourcen effizient nutzen.

Allerdings gibt es auch deutliche Einschränkungen: Die Systeme können sich nur begrenzt an neue Situationen anpassen, verfügen über keine echte Lernfähigkeit und ihre kontinuierliche Verbesserung erfordert erheblichen Aufwand.

Auch ethische Grenzen sind zu beachten! Die moralische Urteilsfähigkeit der Agenten ist begrenzt, sie sind von programmierten Werten abhängig und können potenzielle Voreingenommenheiten aufweisen.

Technische Limitationen zeigen sich in der Abhängigkeit von der Datenqualität, einer begrenzten Transferfähigkeit und Schwierigkeiten bei unstrukturierten Problemen. Wirklich zuverlässige Ergebnisse liefern die Systeme nur in ihrem jeweiligen, eng begrenzten Aufgabenfeld.

Der aktuelle Stand in Sachen AI-Agents

In einem Interview der MIT Technology Review gewährten OpenAIs Produktchef Olivier Godement und der Leiter der Entwicklererfahrung Romain Huet tiefe Einblicke in ihre Vision. „In ein paar Jahren wird jeder Mensch auf der Erde, jedes Unternehmen einen Agenten haben“, prognostiziert Godement. Er beschreibt einen digitalen Assistenten, der nicht nur Zugriff auf unsere E-Mails, Apps und Kalender hat, sondern diese auch wirklich versteht und wie ein persönlicher Stabschef agiert.

Doch bevor diese Vision Realität werden kann, müssen zwei zentrale Herausforderungen gemeistert werden:

• Zum einen das „Reasoning“ – also die Fähigkeit der KI, wirklich logisch zu denken und komplexe Aufgaben zuverlässig zu lösen.
• Zum anderen die nahtlose Integration verschiedener Tools und Datenquellen. Die KI muss nicht nur im Internet surfen können, sondern auch aktiv mit der realen Welt interagieren.

Und ja, natürlich arbeitet OpenAI  bereits intensiv an beiden Fronten:

1. Mit dem neuen o1-Modell wurde eine erweiterte „Chain-of-Thought“-Technik eingeführt, die dem System mehr Zeit zum „Nachdenken“ gibt. Dies ermöglicht es der KI, Fehler zu erkennen, Probleme in kleinere Einheiten aufzuteilen und verschiedene Lösungsansätze auszuprobieren.
2. Parallel dazu wurde ChatGPT mit Suchfunktionen ausgestattet, während die neue Realtime API Entwicklern ermöglicht, fortschrittliche Sprachfunktionen in ihre Anwendungen zu integrieren.

Vorsicht: Es ist nicht alles Gold was glänzt

Doch eine aktuelle Studie aus dem Hause Apple mahnt zur Vorsicht – und das aus gutem Grund. Die Forscher:innen haben sich die viel beworbenen Reasoning-Fähigkeiten genauer angeschaut und dabei ernüchternde Erkenntnisse gewonnen: Was auf den ersten Blick wie echtes logisches Denken erscheint, entpuppt sich bei näherer Betrachtung als hochentwickeltes Musterabgleichen.

Ein simples Beispiel macht das deutlich: Wenn man in einer Textaufgabe über das Sammeln von Früchten plötzlich irrelevante Details über deren Größe einstreut, weicht das Ergebnis um bis zu 10 Prozent ab. In manchen Fällen wurden sogar Abweichungen von 65 Prozent beobachtet!

Dies zeigt sich besonders deutlich am Beispiel eines klassischen Logikrätsels wie der Flussüberquerung. Das Original-Rätsel ist mittlerweile so bekannt, dass es vermutlich in unzähligen Varianten in den Trainingsdaten steckt. Kein Wunder also, dass moderne KI-Systeme hier brillieren.

Ein Mann will mit einem Wolf, einer Ziege und einem Kohlkopf über einen Fluss. 
Das Problem: Das Boot ist klein und kann neben dem Mann nur eine weitere Sache transportieren.

Dabei muss der Mann aufpassen:
1. Der Wolf darf nicht alleine mit der Ziege bleiben, sonst frisst er sie.
2. Die Ziege darf nicht alleine mit dem Kohl bleiben, sonst frisst sie ihn.

Deine Aufgabe ist es, einen Plan zu finden, wie der Mann alle sicher über den Fluss bringt 
– mit so wenigen Fahrten wie möglich.

Doch fügt man nur eine kleine Variable hinzu – in diesem Fall einen Strick zum Festbinden – gerät das System ins Schleudern.

Er hat einen Strick dabei und könnte damit ein Tier festbinden oder ihm das Maul zubinden.

Statt die simple Originallösung beizubehalten, verstrickt sich die KI in teils aberwitzige Konstruktionen mit gefesselten Tieren, ohne zu erkennen, dass der Strick die grundlegende Problemstellung gar nicht verändert.

Das Problem der Halluzinationen besteht nach wie vor

Noch bedenklicher im Hinblick auf autonome Agenten sind die sogenannten „KI-Halluzinationen“. In amerikanischen Krankenhäusern wird beispielsweise bereits eine KI-Software eingesetzt, die auf OpenAI Whisper-Modell basiert, und mit deren Hilfe Arzt-Patienten-Gespräche automatisch in Text umgewandelt werden. Eine neue Studie mit über 13.000 Audio-Transkriptionen offenbart dabei ein erschreckendes Problem: In etwa einem Prozent der Fälle „halluziniert“ die KI und erfindet Inhalte, die nie gesagt wurden. Aus einer harmlosen Aussage wie „jemand musste die Feuerwehr rufen, um den Vater und die Katze zu retten“ macht das System plötzlich eine dramatische Szene mit einem „blutgetränkten Kinderwagen“.

Die Reaktionen der Branche auf solche Vorfälle folgen einem bekannten Muster: Software-Anbieter wie das Unternehmen Nabla, das Whisper in Krankenhäusern einsetzt, versprechen schnelle technische Lösungen – etwa durch spezialisiertes Training oder die Verknüpfung mit Faktendatenbanken zur Gegenkontrolle.

Doch wie wenig verlässlich solche Sicherheitssysteme sind, zeigt eine aktuelle Studie von Meta: Selbst KI-Systeme mit Datenbankanbindung produzieren in einem Drittel der Fälle noch frei erfundene Inhalte.

Besonders aufschlussreich ist die Reaktion von OpenAI selbst: Das Unternehmen verweist darauf, dass Whisper laut „Beipackzettel“ gar nicht für kritische Anwendungen wie im Gesundheitswesen gedacht sei – eine erstaunliche Position für ein Unternehmen, dessen CEO Sam Altman regelmäßig verkündet, KI werde alle Lebensbereiche revolutionieren. Aber so kann sich das angeblich so offene KI-Unternehmen – zumindest vorerst – aus der Verantwortung stehlen.

Wie sieht es bei der Konkurrenz aus?

Während OpenAI seinen ambitionierten AGI-Fahrplan präsentiert, führt der Konkurrent Anthropic mit der „Computer Use“-Funktion eine Technologie ein, die KI-Systeme viel stärker in Richtung Agenten bringt: Anthropics Flaggschiff-Modell Claude 3.5 Sonnet wurde im neuesten Update beigebracht, Computer wie Menschen zu bedienen – mit Mausklicks, Tastatureingaben und Bildschirmnavigation. Eine bemerkenswerte Entwicklung, die allerdings auch ihre Tücken hat, wie sich bei einer Vorführung zeigte: Statt den vorgesehenen Code zu schreiben, „entschied“ sich das System plötzlich, Fotos des Yellowstone Nationalparks zu durchstöbern.

Zur Info: Das Modell wurde bei diesem Release grundlegend überarbeitet und zeigt vor allem im Bereich Software-Engineering deutliche Fortschritte. Bei SWE-bench Verified, einem wichtigen Benchmark für Programmieraufgaben, verbesserte sich die Erfolgsquote von 33,4% auf 49,0% – damit übertrifft Sonnet sogar spezialisierte Coding-Systeme und OpenAIs o1. GitLab bestätigt diese Verbesserung und berichtet von bis zu 10% besseren Ergebnissen bei DevSecOps-Aufgaben.

Auch Google arbeitet an Agenten

Google verfolgt unter dem Codenamen „Project Jarvis“ einen fokussierteren Ansatz: Der Konzern entwickelt einen KI-Agenten, der sich auf die Kontrolle des Chrome-Browsers spezialisiert. Die Technologie soll alltägliche Online-Aufgaben wie Produktrecherchen, Einkäufe oder Reisebuchungen selbstständig ausführen können.

Der technische Ansatz ist dabei bemerkenswert pragmatisch: Jarvis erstellt kontinuierlich Screenshots des Browsers, analysiert diese in Echtzeit und leitet daraus die nächsten Aktionen ab.

Apple und Microsoft natürlich ebenso

Microsoft mit OmniParser ein Open-Source-Tool veröffentlicht, das Bildschirminhalte in strukturierte Daten umwandeln kann. Apple wiederum arbeitet mit CAMPHOR sowohl an einem Framework für kollaborative Agenten, das verschiedene Spezialisten unter der Führung eines übergeordneten „Reasoning-Agenten“ koordiniert, als auch an einem System zur KI-gesteuerten Bedienung von Benutzeroberflächen mit Namen Ferret-UI 2.

Die Besonderheit: Anders als die Konkurrenz zielt Apple auf eine plattformübergreifende Lösung, die sowohl auf iPhones, iPads, Android-Geräten als auch im Web und auf Apple TV funktionieren soll.

Die Leistungsdaten sind dabei durchaus bemerkenswert: Bei der Erkennung und Interpretation von UI-Elementen erreicht Ferret-UI 2 einen Score von bis zu 89,73 – deutlich mehr als GPT-4o mit 77,73.

Stellt man sich allerdings einen autonomen KI-Agenten vor, der bei jedem 10. Schritt am Computer einen Fehler macht, relativiert sich das Ganze jedoch schnell.

Fazit und Ausblick

Die Integration von KI-Agenten in bestehende Systeme mag für spezifische, klar definierte Aufgaben durchaus sinnvoll sein. Aber der Weg zur wahren AGI ist noch sehr weit – und vielleicht sollten wir uns mehr darauf konzentrieren, die aktuellen Systeme zuverlässiger und sicherer zu machen, statt von Science-Fiction-Szenarien zu träumen.

Die unterschiedlichen Ansätze der Tech-Giganten zeigen: Der Weg zu wahrhaft autonomen KI-Assistenten ist noch nicht festgelegt. Was sich jedoch abzeichnet: Die Systeme werden immer besser darin, unsere Intentionen zu verstehen und entsprechend zu handeln – auch wenn der Weg zur fehlerfreien Ausführung noch weit ist.

Trotz dieser Einschränkungen sind die Zukunftsperspektiven vielversprechend. Die Integration von KI-Agenten in bestehende Systeme wird weiter zunehmen, wobei der Fokus auf einer verantwortungsvollen Entwicklung liegen muss. Kontrolle und Transparenz werden dabei eine zentrale Rolle spielen. Die große Herausforderung wird sein, die richtige Balance zwischen Automatisierung und menschlicher Kontrolle zu finden.

Dabei gilt es, sowohl die Chancen als auch die Risiken im Blick zu behalten. Die Effizienzsteigerung in komplexen Prozessen und die Unterstützung menschlicher Entscheidungsfindung bieten enormes Potenzial. Gleichzeitig müssen wir uns der möglichen Schäden durch Fehler, rechtlicher Herausforderungen wie Haftungsfragen und Datenschutzbedenken bewusst sein. Auch die zunehmende Abhängigkeit von KI-Systemen und deren Auswirkungen auf den Arbeitsmarkt werden uns als Gesellschaft beschäftigen.

Fest steht jedoch: Die Entwicklung von KI-Agenten steht noch am Anfang, aber sie wird unsere Art zu arbeiten und zu leben nachhaltig verändern. Der Schlüssel zum Erfolg wird sein, diese mächtige Technologie verantwortungsvoll und zum Nutzen aller einzusetzen. Dabei wird es entscheidend sein, die richtige Balance zwischen technologischem Fortschritt und menschlicher Kontrolle zu finden.