Cloudflare legt KI-Crawlern Steine in den Weg
Cloudflare blockiert nun KI-Crawler, welche ohne die Erlaubnis oder finanzielle Entschädigung auf Onlineinhalte zugreifen. Das Cybersecurity-Unternehmen will Websitebetreibern die Wahl lassen: KI-Zugriffe erlauben, blockieren oder Gebühren verlangen. Für letztere Option testet Cloudflare sein neues Bezahlmodell "Pay per Crawl".

KI-Programme greifen oft ungefragt auf Inhalte von Websites zu - etwa zur Datensammlung oder zur Generierung von eigenen Antworten. Verlagen, Content-Erstellern und Website-Betreibern gehen dadurch nicht nur Einnahmen durch die Lappen, sie erfahren auch nicht mehr, wie oft und wofür ihre Inhalte verwendet werden. Dadurch scheinen Werbeanzeigen weniger lohnenswert, Abonnenten bleiben aus. Verlegerverbände aus dem deutschsprachigen Raum haben erst kürzlich Regeln für den Umgang von KI mit journalistischen Inhalten gefordert, wie Sie hier lesen können.
Cloudflare setzt KI-Crawlern deshalb Grenzen: Der US-amerikanische Hoster und CDN-Anbieter blockiert nun KI-Crawler, die ohne Zustimmung oder finanziellen Ausgleich auf Inhalte zugreifen. Website-Betreiber können so selbst entscheiden, ob und unter welchen Bedingungen sie den Zugriff erlauben, wie Cloudflare schreibt. Auch die Art der Nutzung durch KI-Modelle lasse sich einschränken.
Cloudflare will laut einem Blog-Beitrag den Website-Betreibern die Wahl lassen:
- Crawlern freien Zugriff auf Inhalte gewähren,
- den Zugriff vollständig verweigern.
- oder eine Gebühr für die Nutzung der Inhalte verlangen.
Pay per Crawl - die Alternative zur Blockade
Für die dritte Option führt Cloudflare das Modell "Pay per Crawl" - das Bezahlen pro Anfrage - ein. Dieses befinde sich zur Zeit in der privaten Beta des Unternehmens. Website-Betreiber erhielten damit die volle Kontrolle über die Monetarisierung ihrer Inhalte.
Das Bezahlmodell lässt sich laut Cloudflare in die vorhandene Web-Infrastruktur integrieren. Technisch basiere es auf HTTP-Statuscodes und etablierten Authentifizierungsmechanismen.
So funktioniert es: Wenn ein KI-Crawler Inhalte anfordert, zeigt er über die Anforderungsheader an, dass er zahlen will - und erhält Zugriff. Wenn nicht, bekommt er eine Payment-Required-Antwort mit Preisangaben. Cloudflare übernimmt dabei die Rolle des Händlers und stelle die nötige Infrastruktur zur Verfügung.
Erst vor ein paar Monaten hat Cloudflare bereits auf die zu neugierigen Crawler mit dem "AI Labyrinth" reagiert. Die Funktion blockiert zwar Datensammelbots nicht, leitet sie aber auf sogenannte Dummy-Seiten um. Lesen Sie hier mehr darüber.

Zürcher Regierungsrat verschiebt Einführung elektronischer Verwaltungsverfahren

Update: Kanton Bern verlängert Frist für Steuererklärung wegen holprigem Behörden-Login

Berner Chatbot gewinnt KI-Preis der Uno

Digital vernetzt, ganzheitlich gesichert: Wie die BKB mit ADOGRC neue Standards in der Compliance setzt

Sicherheitsdemo im Middle-Earth-Stil

Institutionelle Investoren und Krypto – wo stehen wir wirklich?

Cloudflare legt KI-Crawlern Steine in den Weg

Neue Android-Technik trickst Nutzer aus

Microsoft GSA – eine neue Ära für sicheren Zugriff auf Firmenressourcen
