KI-Training: Anthropic, Google, Microsoft und OpenAI stützen Opt-out-Signal

Während Anthropic, Google, Microsoft und OpenAI Ende Oktober die Unterstützung eines gemeinsamen robots.txt-Signals vereinbart haben, verdeutlichen neue Branchendaten die Dimensionen der automatisierten Datenerfassung: Laut einer Erhebung von ScalePost und Digiday verzeichneten Webcrawler der vier Konzerne in einem 30-Tage-Zeitraum rund 1 Mrd. Requests auf über 50 Publisher-Properties.

Lediglich 0,15 % dieser Anfragen entfielen dabei auf die robots.txt-Dateien der Webseiten. Mit dem abgestimmten Signal __usage_ai-training sollen Publisher ihre Inhalte nun gebündelt vom Training generativer KI-Modelle ausschließen können.

Technische Funktionsweise des IETF-Entwurfs

Der Vorschlag für ein maschinenlesbares Trainingspräferenz-Signal wurde von Kevin Kelley bei der Internet Engineering Task Force (IETF) eingereicht. Die Organisation führt das Dokument als individuellen Entwurf ohne formale Geltung, der am 3. Mai 2027 ausläuft, sofern keine Überarbeitung erfolgt.

Die zuständige IETF-AI-Preferences-Gruppe definiert das Training als Modifikation gelernter Modellparameter generativer Systeme; Aufgaben wie Klassifikation und Ranking sind davon ausgenommen.

Auf Seiten der Webmaster genügen zwei Zeilen in der Steuerungsdatei: User-Agent: __usage_ai-training in Kombination mit Disallow: /. Eine pauschale Regelung über User-Agent: * aktiviert die Präferenz nicht, der Identifikator muss zwingend explizit genannt werden. Der Standard steuert die inhaltliche Nutzung, nicht den Crawler-Zugriff an sich: Webcrawler dürfen Seiten weiterhin abrufen, während reine Trainings-Crawler die gesperrten Adressen überspringen. Das Signal entfaltet keine rückwirkende Wirkung auf bereits gesammelte Inhalte und sieht keine finanzielle Vergütung vor. Die Beachtung bleibt für Entwickler freiwillig.

Gestaffelte Zeitpläne bei den Anbietern

Wer im Unternehmen KI-Systeme einsetzt oder entwickelt, muss die neuen rechtlichen Rahmenbedingungen und Fristen genau im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Ihnen einen kompakten Überblick über alle Anforderungen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Die beteiligten Firmen setzen bei der Einführung auf unterschiedliche Fristen. Anthropic hat die Berücksichtigung des Signals bei ClaudeBot bereits aufgenommen. OpenAI plant die Umsetzung im Verlauf der kommenden Monate, ohne einen festen Stichtag zu nennen.

Microsoft will die Präferenzen ab dem 1. Februar 2027 beim Crawlen beachten. Ältere NoArchive- und NoCache-Beschränkungen gelten ab dem 1. März 2027 nicht mehr als Vorgabe für Training oder Grounding.

Webseiten mit diesen Beschränkungen am 15. Dezember 2026 erhalten eine temporäre Einstufung in den Bing-Webmaster-Tools, müssen diese jedoch bis zum 1. März 2027 ersetzen; die Übergangsfrist endet bei Erkennung des Ersatzes oder am 30. September 2027. Microsoft trennt Training zudem vom Grounding: Über DisallowExtended wird Fremd-Grounding seitenweise untersagt, während der Microsoft Copilot zugreifen darf und die Seiten in der Bing-Suche gelistet bleiben.

Google peilt das Jahr 2027 an. Ein Ausschluss über den Token ohne Nennung von Google-Extended wird von Google so gewertet, als sei auch Google-Extended untersagt. Da Google-Extended auch das Grounding in Gemini Apps und auf Vertex AI steuert, können Verweise und Klicks in Gemini-Ergebnissen entfallen. Das reguläre Suchmaschinen-Ranking bleibt unberührt.

Laut Google steht das Signal im Einklang mit dem EU-Verhaltenskodex für Allzweck-KI. Beide Anbieter – Microsoft und Google – weisen darauf hin, dass ein Trainings-Opt-out die Sichtbarkeit von Verlagsinhalten in KI-Anwendungen verringern kann.

Die rasante Entwicklung von KI-Modellen bringt neue Cyberrisiken und rechtliche Pflichten mit sich, die viele Verantwortliche noch nicht vollständig überblicken. Ein kostenloser Experten-Report klärt auf, welche Maßnahmen Unternehmer jetzt ergreifen müssen, um ihre IT-Sicherheit zukunftsfähig aufzustellen. Aktuelle Cyber-Security-Trends kostenlos herunterladen

Reaktionen und juristischer Hintergrund

Meta unterstützt den Standard prinzipiell, hat sich bislang jedoch zu keiner Umsetzung verpflichtet. Meta-Sprecher Andy Stone bezeichnete den Vorstoß auf X als wichtigen Schritt und erklärte die Bereitschaft, gemeinsame Branchenstandards auszuarbeiten.

Zudem verschob Meta aktualisierte Geschäftsbedingungen auf den 20. November und strich Passagen zur Trainingsnutzung; laut Sam Quigley von der News/Media Alliance sei diese Praxis jedoch nicht ausdrücklich untersagt und bleibe Verhandlungsgegenstand.

Amazon und Apple haben das Signal nicht unterzeichnet. Medienunternehmen wie News Corp, die BBC und die Financial Times sind an den Standardisierungsgesprächen beteiligt.

Kritik kommt aus dem Verlags- und Urheberbereich: Paul Bannister von Raptive nannte den Standard eine reine Fassade. Laut einem Bericht vom 9. November 2026 verteidigte der Copyright-Chef von Google auf dem ersten WIPO Global Forum on Intellectual Property and Artificial Intelligence Opt-out-Verfahren als Instrument, um Einwilligungen im großen Maßstab zu handhaben.

Vertreter der International Affiliation of Writers Guilds erwiderten daraufhin, dass das Einholen einer Erlaubnis sowie das Recht auf Ablehnung unabdingbar seien.

Die Einigung vollzieht sich vor dem Hintergrund juristischer Auseinandersetzungen: Die New York Times verklagte OpenAI und Microsoft im Dezember 2023 wegen der Nutzung von Millionen Artikeln für ChatGPT, woraufhin die Beklagten das US-Rechtsprinzip des Fair Use geltend machen.

Anthropic zahlt 1,5 Mrd. US-Dollar zur Beilegung einer Sammelklage von Autoren, während Penske Media im Jahr 2025 Klage gegen Google wegen der AI Overviews einreichte. Der Cloud-Dienstleister Cloudflare blockiert KI-Crawler bei Neukunden seit Juli 2025 standardmäßig und ermöglicht die Abrechnung von Gebühren pro Webseitenaufruf.