Google und IETF: Neues robots.txt-Signal soll KI-Nutzung bündeln

Google hat angekündigt, die Vorschläge der AIPREF-Arbeitsgruppe der Internet Engineering Task Force (IETF) für einen einheitlichen Kontrollmechanismus in der robots.txt-Datei freiwillig umzusetzen. Website-Betreiber sollen künftig über sogenannte Policy Tokens festlegen können, wie ihre Inhalte von generativen KI-Modellen genutzt werden dürfen.

Das Verfahren ermöglicht es Publishern, ihre Vorgaben gegenüber mehreren teilnehmenden KI-Entwicklern mit einer einzigen Anweisung zu steuern, statt wie bisher individuelle Regeln für jeden einzelnen Webcrawler anlegen zu müssen.

Integration in bestehende Systeme und Zeitplan

Nach Angaben von Google gilt ein Widerspruch über das neue Token standardmäßig wie ein Ausschluss über die firmeneigene Direktive Google-Extended, sofern Publisher nicht ausdrücklich eine andere Handhabung definieren. Google Search Advocate John Mueller erklärte dazu, dass ein solcher Eintrag wie ein Verbot für Google-Extended behandelt werde.

Bestehende unternehmenseigene Steuerungsoptionen, darunter die seit 2023 verfügbare Direktive Google-Extended sowie das Opt-out für die Search Generative Experience über die Google Search Console, bleiben parallel in Kraft. Inhalte von Webseiten, die Google-Extended gestatten, können weiterhin in Antworten des Chatbots Gemini einfließen.

Die neuen Standards zur Steuerung von Web-Inhalten zeigen, wie rasant sich der rechtliche Rahmen für künstliche Intelligenz entwickelt. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen und Pflichten, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen

Die technische Umsetzung plant Google gemeinsam mit weiteren KI-Entwicklern für das Jahr 2027. Das Vorhaben steht im Einklang mit dem Verhaltenskodex der Europäischen Union für Anbieter von Allzweck-KI-Modellen unter dem EU AI Act, der die robots.txt als primäres Kontrollinstrument anerkennt.

Nate Hake, ein Teilnehmer der IETF-Arbeitsgruppe, wies laut Berichten vom 30. Oktober 2026 allerdings darauf hin, dass weiterhin Streitpunkte bestehen, da der aktuelle Entwurf Präferenzen von Endnutzern teilweise ausnehme.

Breite Branchenunterstützung und Microsoft-Vorstoß

Neben Google unterstützen auch OpenAI, Microsoft und Anthropic den IETF-Vorschlag zur gestrafften Steuerung. OpenAI gab bekannt, das gemeinsame Signal in der robots.txt respektieren zu wollen, um Seitenbetreibern eine gebündelte Steuerung zu ermöglichen. Die Umsetzung bei OpenAI soll in den kommenden Monaten erfolgen, während bestehende Crawler-Regeln unverändert gültig bleiben.

Microsoft kündigte parallel detaillierte Kontrolloptionen für Bing, Microsoft 365 und den Copilot an. Webseitenbetreiber können künftig auf Seitenebene über Meta-Tags oder HTTP-Header separat festlegen, ob Inhalte für das Modelltraining, das sogenannte Grounding oder eine auf Microsoft-eigene Systeme beschränkte Nutzung freigegeben werden.

Das Unternehmen betonte, dass Publisher nicht zwischen ihrer Auffindbarkeit im Web und der Kontrolle über die Verwertung ihrer Werke durch generative Modelle wählen müssen sollten.

Während große Plattformen neue Kontrolloptionen einführen, stellen die EU-Vorgaben viele Unternehmen vor technische und regulatorische Rätsel. Dieser kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen KI-Umsetzungsleitfaden herunterladen

Für die Einführung definierte Microsoft einen festen Fahrplan: Am 15. Dezember 2026 starten temporäre Grounding-Kontrollen in den Bing Webmaster Tools. Ab dem 1. Februar 2027 setzt das System die Präferenzen beim Crawlen um.

Publisher müssen ihre Einstellungen bis zum 1. März 2027 vornehmen, da ältere Auszeichnungen ab diesem Stichtag nicht mehr als Trainings- oder Grounding-Wahl interpretiert werden. Die Übergangsfrist für temporäre Einstellungen endet schließlich am 30. September 2027.

Zunehmender Druck auf Plattformbetreiber

Die Vereinheitlichung der Kontrollstandards fällt in eine Phase intensiverer aufsichtsrechtlicher und juristischer Prüfungen im Hinblick auf Trainingsdaten. Während die Allianz um Google, Microsoft und OpenAI auf differenzierte Opt-out-Verfahren setzt, sieht sich der Social-Media-Konzern Meta scharfer Kritik ausgesetzt.

Die britische Wettbewerbsbehörde Competition and Markets Authority leitete eine Untersuchung ein, ob Meta Publishern mit angekündigten Geschäftsbedingungen unfaire Vorgaben zur Nutzung von Website-Inhalten für KI-Zwecke aufzwinge. Zudem untersagte das Osloer Bezirksgericht Meta vorläufig die Inkraftsetzung der umstrittenen Klauseln nach einer Klage norwegischer Medienhäuser, woraufhin der Konzern den Rollout vorerst stoppte.