Vercel Labs hat am 30. Oktober 2026 die Version 1.0.2 von agent-desktop unter der Open-Source-Lizenz Apache-2.0 veröffentlicht. Bei dem Werkzeug handelt es sich um eine Befehlszeilenschnittstelle, mit der KI-Agenten Desktop-Anwendungen auf macOS, Windows und Linux bedienen können.
Anders als viele bisherige Ansätze verzichtet das Tool auf die Auswertung visueller Screenshots und setzt stattdessen direkt auf den Accessibility-Tree der jeweiligen Betriebssysteme.
Strukturelle Erfassung statt visueller Analyse
Die Software wurde in Rust entwickelt und verfügt über eine begleitende C-Bibliothek, die Anbindungen für Programmiersprachen wie Python, Swift, Go, Ruby und Node ermöglicht. Für x64- und ARM64-Architekturen stehen native Binärdateien über die Paketverwaltung npm bereit, die sich über den Befehl npm install -g agent-desktop installieren lassen.
Anstelle rechenintensiver Bilderkennung liest das Programm die Struktur von Benutzeroberflächen aus und liefert JSON-Snapshots zurück. Diese enthalten Rollen, Namen sowie qualifizierte Referenzbezeichner wie beispielsweise @s8f3k2p9:e8.
Die Referenzen besitzen ausschließlich Gültigkeit für den jeweiligen Schnappschuss. Ändert sich die Oberfläche zwischen zwei Schritten, meldet das System Fehler wie STALE_REF oder bei mehrdeutigen Elementen AMBIGUOUS_TARGET mitsamt Fenster-IDs, was eine erneute Erfassung erfordert.
Fehlermeldungen beinhalten Hinweise für Wiederholungsversuche. Statusmeldungen werden als delivered_unverified oder delivered_verified deklariert, wobei der Rückgabewert ok:true nicht als Beleg für einen tatsächlichen Effekt in der Ziel-Applikation gewertet werden kann.
Insgesamt umfasst das Tool 60 Befehle, von denen 56 einsatzbereit sind. Sie decken das Starten und Beenden von Programmen, Fensteroperationen, Mausklicks, Tastatureingaben, Scrollen, die Zwischenablage, Benachrichtigungen sowie Screenshots ab. Vier Befehle für gehaltene Eingaben wie key-down oder mouse-down blockieren die Ausführung, sofern kein separater Hintergrunddienst aktiv ist, der das Loslassen der Tasten garantiert.
Ressourceneffizienz und technische Grenzen
In der Standardeinstellung arbeitet die Software im Headless-Modus ohne Cursorbewegung oder Fokusverlust. Ein optionaler Parameter erlaubt physische Eingaben mit Wartezeiten von bis zu 5.000 Millisekunden. Ein weiterer Modus liest zunächst nur drei Ebenen der Hierarchie für eine flache Übersicht aus, bevor gezielt tiefer navigiert wird.
Wer sich mit dem technologischen Fortschritt durch KI befasst, muss auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Nach Angaben der Entwickler ermöglicht dieser textbasierte Ansatz deutliche Effizienzgewinne gegenüber visuellen Methoden. Bei informationsdichten Programmen auf Electron-Basis wie Slack, VS Code oder Notion liege die Ersparnis bei 78 bis 96 Prozent der Tokens.
Für Apple Maps wurden 273 Tokens gegenüber 3.811 Tokens pro Beobachtung genannt, während ein simulierter Ablauf mit 52 Schritten den Verbrauch von 198.000 auf 31.000 Tokens reduziert habe. Diese Werte beruhen auf eigenen Messungen und wurden bisher nicht unabhängig geprüft.
Das Tool bringt weder ein eigenes Sprachmodell noch eine grafische Oberfläche oder integrierte Planungsmechanismen mit; die Steuerungslogik liegt vollständig beim anbindenden Agenten. Grenzen bestehen dort, wo Anwendungen keine Barrierefreiheitsbäume bereitstellen.
Zudem erfordert der Kaltstart von Chromium- und Electron-Anwendungen 10 bis 25 Sekunden. Physische Tastatur- und Mauseingaben müssen nacheinander verarbeitet werden. Web-Automatisierungen deckt das Projekt nicht ab; hierfür verweist das Team auf das Schwesterprojekt agent-browser.
Ursprung und Plattformanforderungen
Das Projekt wurde ursprünglich im Februar 2026 von dem unabhängigen Entwickler Lahfir gestartet. Nach den ersten Veröffentlichungen auf npm Ende Oktober wechselte das Projekt am 30. Oktober 2026 offiziell zu Vercel Labs. Chris Tate von Vercel Labs beschrieb das Werkzeug als Übertragung des browserbasierten Ansatzes auf das gesamte Betriebssystem; sein Beitrag auf der Plattform X verzeichnete am 31. Oktober 2026 über 640.000 Aufrufe.
Während neue Tools die Automatisierung vorantreiben, stellen die EU-Vorgaben für KI-Systeme viele Betriebe vor große Herausforderungen. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko gelten und wie Sie die neuen Regeln rechtssicher in Ihre IT-Struktur integrieren. Compliance-Leitfaden zum EU AI Act jetzt kostenlos herunterladen
Auf Entwicklerseite stieß die Veröffentlichung auf großes Interesse: Auf der Plattform GitHub verzeichnete das Repository bereits über 4.000 und nach weiteren Berichten über 5.000 Sterne.
Für den Betrieb setzt die Software macOS ab Version 13 mit Freigabe der Bedienungshilfen, Windows 10 ab Build 1809 oder Windows Server 2019 sowie Ubuntu ab Version 24.04 mit aktiver grafischer Sitzung und at-spi2-core voraus. Primäres Zielsystem unter Linux ist GNOME 46. Die Software benötigt lediglich eine CPU und keine Grafikbeschleunigung.
Unter Windows können Programme mit Administratorrechten zwar gelesen werden, Eingaben verlangen jedoch einen Agenten mit erhöhten Rechten. Vercel Labs hat bislang weder Preise noch Hosting-Optionen oder eine Roadmap vorgelegt. Sicherheitsseitig sollten Nutzer beachten, dass Schnappschüsse und die Zwischenablage vertrauliche Daten enthalten können.