Auf einer Veranstaltung von O’Reilly am 15. Oktober 2026 stellte CTO Andrew Odewahn ein Experiment zur automatisierten Analyse von Software-Entwicklungsprozessen vor.
Über das Model Context Protocol (MCP) verknüpfte er einen Recherche-Agenten mit zentralen Entwicklungs- und Betriebswerkzeugen wie Productboard, Jira und GitHub, band einen Service-Katalog mit rund 300 Diensten ein und schloss bestehende Observability-Plattformen an.
Der Versuch demonstrierte sowohl die Leistungsfähigkeit moderner Schnittstellen als auch die gravierenden Grenzen ungelenkter künstlicher Intelligenz bei strategischen Diagnosen.
Fehlschlüsse durch fehlende Fachmethodik
In seinem ersten Durchlauf analysierte der Agent die Lage eines fünfköpfigen Entwicklerteams, das zehn sogenannte Tier-A-Services betreute. Zu diesem Zeitpunkt war eine laufende Migration auf ein Pub/Sub-System zu 64 Prozent abgeschlossen. Anhand der reinen Projektdaten diagnostizierte das System ein akutes Kapazitätsproblem und empfahl dem Management Neueinstellungen, um die Verzögerungen aufzufangen.
Erst als Odewahn das System um eine zusätzliche Ebene für Fachexpertise ergänzte – basierend auf dem Konzept des wiederkehrenden administrativen Aufwands (Toil) aus Googles SRE-Handbuch –, revidierte der Agent sein Urteil grundlegend.
Die EU-KI-Verordnung stellt Unternehmen vor neue Herausforderungen bei der Dokumentation und Risikobewertung ihrer Systeme. Dieser kostenlose Report klärt auf, welche KI-Anwendungen als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Umsetzungsleitfaden zum EU AI Act kostenlos herunterladen
Mit den methodischen Leitplanken erkannte die Software ein strukturelles Overhead-Problem und empfahl stattdessen eine gezielte Prüfung der manuellen Betriebslasten. Tim O’Reilly unterstrich in diesem Kontext, dass menschliche Expertise als unverzichtbarer Mechanismus zur Fokussierung diene, ohne den automatisierte Systeme falsche Schlüsse aus Betriebsdaten ziehen.
Nacharbeiten belasten Produktteams
Die Beobachtungen decken sich mit breiteren Erhebungen in der Softwarebranche. Laut der am 31. Oktober 2026 veröffentlichten Atlassian-Studie „State of Product 2027“, für die 1.000 Fachleute aus Unternehmen mit 500 bis 10.000 Beschäftigten in den USA, Deutschland und Frankreich befragt wurden, führt der Einsatz von Automatisierungswerkzeugen keineswegs automatisch zu besseren Ergebnissen.
Zwar gaben 80 Prozent der Befragten an, mithilfe von künstlicher Intelligenz schneller auszuliefern, allerdings entstehe dadurch kein früherer Kundennutzen.
Gleichzeitig bindet die Kontrolle der eingesetzten Systeme erhebliche Ressourcen: 49 Prozent der Produktverantwortlichen müssen die Resultate von Agenten überprüfen, ebenso viele müssen Eingaben wiederholt anpassen, und 48 Prozent sind gezwungen, Arbeitsschritte nach Fehlern manuell nachzuvollziehen.
Wer KI-Systeme im Unternehmen entwickelt oder nutzt, muss die neuen gesetzlichen Anforderungen und Übergangsfristen genau kennen, um rechtlich auf der sicheren Seite zu stehen. Dieser kostenlose Download verschafft Ihnen den Überblick, den Ihre Rechts- und IT-Abteilung für eine konforme Umsetzung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen
Entsprechend verzeichneten 61 Prozent der Produktmanager einen Anstieg technischer Schulden, während 82 Prozent mindestens gelegentlich über mangelhafte KI-Arbeitsergebnisse klagten. Eine Beschleunigung der Entscheidungsfindung konnten 69 Prozent der Befragten nicht feststellen.
Fachexpertise als strukturierte Grundlage
Dass automatisierte Werkzeuge dennoch signifikante Effizienzgewinne ermöglichen können, wenn sie auf klar definierter Expertise aufbauen, zeigen Erfahrungen aus großen Infrastrukturumgebungen.
Der Meta-Entwickler Tommy Tran kombinierte Fehlererkennung und Performance-Analysen in einer internen Plattform für Infrastruktureffizienz. Dabei wurden Prüfschritte, Signale und Arbeitsabfolgen gemeinsam mit erfahrenen Ingenieuren erarbeitet und als eigenständige Fähigkeiten hinterlegt – strikt getrennt von den eigentlichen Werkzeugen.
In diesem System unterbreitet der Agent konkrete Korrekturvorschläge, während Freigaben für Änderungen in Produktivumgebungen weiterhin zwingend durch Menschen erfolgen. Die rein automatisierte Diagnosephase konnte dadurch eine manuelle Untersuchungsdauer von rund zehn Stunden auf etwa 30 Minuten verkürzen, wobei Begutachtung und Implementierung weiterhin zusätzliche Zeit in Anspruch nehmen.
Die praktische Umsetzung unterstreicht, dass automatisierte Agenten nur dann verwertbare Resultate liefern, wenn sie auf erprobten methodischen Rahmenwerken aufsetzen und menschliche Kontrollinstanzen fest in den Arbeitsablauf eingebunden bleiben.