OpenAI hat angekündigt, künftig ein gemeinsames Signal in der Datei robots.txt zu respektieren, über das Website-Betreiber ihre Vorgaben für das Training von Künstlicher Intelligenz an mehrere Anbieter gleichzeitig übermitteln können.
Bislang mussten Seitenbetreiber einzelne Webcrawler mühsam identifizieren und für jedes Unternehmen separate Einträge pflegen. Diese aufwendige Verwaltung soll nun durch eine einzige, übergreifende Präferenzangabe vereinfacht werden.
Die Implementierung dieses Schritts ist laut OpenAI für die kommenden Monate geplant, wobei weitere Details noch folgen sollen. Die Initiative ersetzt bestehende robots.txt-Kontrollen nicht; spezifische Anweisungen für einzelne Bots behalten weiterhin ihre Gültigkeit. OpenAI rief zudem andere KI-Entwickler dazu auf, das standardisierte Signal ebenfalls anzuerkennen und zu übernehmen.
Technischer Rahmen basiert auf IETF-Arbeitsgruppe
Grundlage des Vorhabens ist die Arbeit der AI Preferences Working Group der Internet Engineering Task Force (IETF). Definiert wird das Signal in einem IETF-Internet-Draft von Kevin Kelley vom Branchenkollegen Anthropic, der eine Gültigkeit bis zum 3. Mai 2027 aufweist, bislang jedoch noch keine offizielle Bestätigung durch die IETF erhalten hat. Das zugrunde liegende Vokabular stammt aus einem Entwurf von Vertretern der Organisationen Open Future und Mozilla mit Stand September 2026.
Technisch setzt das Verfahren auf etablierte Strukturen auf, ohne neue Direktiven oder grammatikalische Erweiterungen einzuführen. Innerhalb der User-Agent-Zeile von Standard-robots.txt-Gruppen wird ein spezieller Token namens __usage_ai-training platziert. Betreiber können damit gezielt festlegen, für welche Pfade das KI-Training untersagt oder gestattet ist. So signalisiert die Kombination dieses Tokens mit einem Ausschluss für die gesamte Domain bei gleichzeitiger Freigabe eines bestimmten Unterordners, dass lediglich die Inhalte dieses Verzeichnisses für Trainingszwecke genutzt werden dürfen. Allgemeine Wildcard-Gruppen mit einem Sternchen erfassen diesen Token gemäß den Festlegungen der Arbeitsgruppe nicht, sodass die bestehende Grammatik nach RFC 9309 vollständig gewahrt bleibt.
Wer sich mit der Steuerung von KI-Systemen befasst, muss neben technischen Signalen auch die umfassenden rechtlichen Anforderungen des EU AI Acts im Blick behalten. Dieser kostenlose Leitfaden bietet Unternehmen eine kompakte Übersicht über alle Pflichten, Fristen und Risikoklassen der neuen Verordnung. EU AI Act in 5 Schritten verstehen
Koordinationsinstrument ohne Sicherheitsfunktion
Bestehende Kontrollmechanismen des Unternehmens bleiben von der Neuerung unberührt. Spezifische Anweisungen für den GPTBot, den OAI-SearchBot, den OAI-AdsBot oder ChatGPT-User gelten weiterhin unabhängig voneinander.
Betreiber können somit beispielsweise das Web-Crawling für Trainingszwecke über eine Ausschlussregel für den GPTBot unterbinden, während der OAI-SearchBot den Zugriff für die Websuche in ChatGPT weiterhin ermöglicht. Suchbezogene Anpassungen werden nach Angaben des Unternehmens in der Regel innerhalb von rund 24 Stunden nach einer Aktualisierung der robots.txt wirksam.
Die Auswahl der richtigen KI-Strategie ist für Verantwortliche oft komplex, da rechtliche Unklarheiten bei der Nutzung von Systemen bestehen können. Erfahren Sie in diesem kostenlosen Report, welche KI-Anwendungen als Hochrisiko eingestuft werden und wie Sie die Einhaltung der Compliance-Regeln sicherstellen. Jetzt kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
OpenAI verweist gleichzeitig darauf, dass es sich bei dem Signal um eine reine Koordinationsmaßnahme und nicht um eine technische Sicherheitskontrolle handelt. Gemäß dem Standard RFC 9309 stellen robots.txt-Einträge keine Zugriffsbeschränkung oder Autorisierung dar. Die Berücksichtigung des Signals erfolgt auf freiwilliger Basis.
Eine entsprechende Aktualisierung belegt zudem nicht, dass zuvor erfasste Webdaten nachträglich aus bestehenden Datensätzen oder trainierten Modellen entfernt werden. Verbindliche Nachweise über die Durchsetzung des Standards über verschiedene Anbieter hinweg liegen bisher nicht vor.