Browser-Riesen und Tech-Konzerne schließen sich zusammen, um das Internet vor automatisierten Angriffen zu schützen und gleichzeitig die Privatsphäre der Nutzer zu wahren.
Der Kampf gegen Bots im Internet erreicht eine neue Dimension. Cloudflare hat eine Allianz mit Google Chrome, Microsoft Edge, Mozilla Firefox und Shopify geschmiedet. Gemeinsam arbeiten die Partner an einem offenen Standard namens Private Access Control Tokens (PACT). Das Ziel: Menschliche Nutzer, legitime KI-Agenten und bösartige automatisierte Zugriffe voneinander unterscheiden – ohne dabei die Privatsphäre zu verletzen.
Das Ende der CAPTCHAs?
Die Zahlen sind alarmierend: Über die Hälfte des gesamten Web-Traffics – genauer gesagt 57,5 Prozent – stammt inzwischen von automatisierten Bots, nicht von Menschen. Herkömmliche Schutzmechanismen wie CAPTCHAs stoßen hier an ihre Grenzen. PACT setzt stattdessen auf kryptografische Token. Browser und Plattformen können damit die Legitimität einer Anfrage überprüfen, ohne dass der Nutzer seine Identität preisgeben muss.
„Die Technologiebranche muss schneller handeln“, betont Cloudflare-CTO Dane Knecht. „Das alte Modell, bei dem wir Nutzer mit lästigen Rätseln quälen, ist nicht mehr zeitgemäß.“ Der neue Ansatz verspricht mehr Sicherheit bei gleichzeitig besserer Nutzererfahrung.
Drei Kategorien für KI-Crawler
Cloudflare führt zeitgleich ein neues Klassifizierungssystem für KI-gesteuerte Crawler ein. Statt der bisherigen simplen „Ein-Klick-Blockade“ können Website-Betreiber nun zwischen drei Typen unterscheiden:
- Search: Suchmaschinen-Crawler
- Agent: KI-Assistenten und automatisierte Dienste
- Training: Bots, die Daten für KI-Modelle sammeln
57,5 % des Web-Traffics stammt von Bots – viele davon KI-Crawler, die Ihre Inhalte ungefragt nutzen. Die neue PACT-Allianz gibt Ihnen die Kontrolle zurück. Unser kostenloser Leitfaden zeigt, wie Sie Crawler kategorisieren und blockieren – ohne CAPTCHAs. Kostenlosen Leitfaden anfordern
Diese Differenzierung steht allen Kunden zur Verfügung – auch Nutzern der kostenlosen Tarife. Für Unternehmen gibt es zusätzlich die „BotBase“-Datenbank mit elf Verhaltenskategorien. Sie zeigt an, ob Inhalte für die sofortige Anzeige, als Referenz oder für das volle KI-Training genutzt werden.
Harte Deadline für Multi-Purpose-Bots
Der 15. September 2026 markiert einen Wendepunkt. Ab diesem Datum blockiert Cloudflare automatisch alle Crawler der Kategorien „Training“ und „Agent“ auf werbefinanzierten Websites. Suchmaschinen-Crawler bleiben erlaubt, damit Seiten weiterhin indexiert werden.
Das Problem: Multi-Purpose-Bots wie Googlebot, BingBot oder Applebot vereinen oft mehrere Funktionen. Sie indexieren Seiten und sammeln gleichzeitig Daten für KI-Training. Veröffentlicht ein Publisher eine Blockade für Trainings-Bots, könnten diese Crawler komplett ausgesperrt werden – es sei denn, die Betreiber trennen ihre Funktionen sauber.
Neue Erlösmodelle für Publisher
Cloudflare testet parallel ein „Pay Per Use“-Modell, auch „Pay Per Answer“ genannt. Es soll Publisher entschädigen, deren Inhalte für KI-Antworten genutzt werden. Erste Partnerschaften mit Ceramic.ai und You.com laufen bereits.
KI-Crawler unterscheiden sich: Manche indexieren, andere trainieren Modelle. Mit der PACT-Klassifizierung entscheiden Sie selbst, wer zugreift. Die Checkliste in unserem Leitfaden hilft Ihnen, die richtigen Einstellungen zu treffen. Checkliste per E-Mail sichern
Ein neues Attribution Business Insights Dashboard liefert Analysen für die sogenannte Answer Engine Optimization (AEO). Betreiber sehen genau, wie oft ihre Inhalte von KI-Agenten zitiert werden.
Cloudflare-CEO Matthew Prince unterstreicht die Dringlichkeit: „Die Mehrheit des Web-Traffics ist nicht mehr menschlich. Wir müssen den Publishern Kontrolle über ihr geistiges Eigentum geben.“ Interne Daten zeigen das Ausmaß: Manche KI-Firmen wie Anthropic crawlen Zehntausende Seiten pro einzelner Referenz – ein Vielfaches dessen, was traditionelle Suchmaschinen abrufen.
