Cloudflare legt KI-Crawlern Steine in den Weg

KI-Programme greifen oft ungefragt auf Inhalte von Websites zu - etwa zur Datensammlung oder zur Generierung von eigenen Antworten. Verlagen, Content-Erstellern und Website-Betreibern gehen dadurch nicht nur Einnahmen durch die Lappen, sie erfahren auch nicht mehr, wie oft und wofür ihre Inhalte verwendet werden. Dadurch scheinen Werbeanzeigen weniger lohnenswert, Abonnenten bleiben aus. Verlegerverbände aus dem deutschsprachigen Raum haben erst kürzlich Regeln für den Umgang von KI mit journalistischen Inhalten gefordert, wie Sie hier lesen können.

Cloudflare setzt KI-Crawlern deshalb Grenzen: Der US-amerikanische Hoster und CDN-Anbieter blockiert nun KI-Crawler, die ohne Zustimmung oder finanziellen Ausgleich auf Inhalte zugreifen. Website-Betreiber können so selbst entscheiden, ob und unter welchen Bedingungen sie den Zugriff erlauben, wie Cloudflare schreibt. Auch die Art der Nutzung durch KI-Modelle lasse sich einschränken.

Cloudflare will laut einem Blog-Beitrag den Website-Betreibern die Wahl lassen: 

• Crawlern freien Zugriff auf Inhalte gewähren,
• den Zugriff vollständig verweigern. 
• oder eine Gebühr für die Nutzung der Inhalte verlangen.

Pay per Crawl - die Alternative zur Blockade

Für die dritte Option führt Cloudflare das Modell "Pay per Crawl" - das Bezahlen pro Anfrage - ein. Dieses befinde sich zur Zeit in der privaten Beta des Unternehmens. Website-Betreiber erhielten damit die volle Kontrolle über die Monetarisierung ihrer Inhalte. 

Das Bezahlmodell lässt sich laut Cloudflare in die vorhandene Web-Infrastruktur integrieren. Technisch basiere es auf HTTP-Statuscodes und etablierten Authentifizierungsmechanismen.

So funktioniert es: Wenn ein KI-Crawler Inhalte anfordert, zeigt er über die Anforderungsheader an, dass er zahlen will - und erhält Zugriff. Wenn nicht, bekommt er eine Payment-Required-Antwort mit Preisangaben. Cloudflare übernimmt dabei die Rolle des Händlers und stelle die nötige Infrastruktur zur Verfügung.
 

Erst vor ein paar Monaten hat Cloudflare bereits auf die zu neugierigen Crawler mit dem "AI Labyrinth" reagiert. Die Funktion blockiert zwar Datensammelbots nicht, leitet sie aber auf sogenannte Dummy-Seiten um. Lesen Sie hier mehr darüber.