Gemeinsames Opt-out fuer KI-Training in robots.txt kommt

Google, Microsoft, OpenAI und Anthropic haben angekuendigt, ein gemeinsames Opt-out fuer das Training generativer KI in robots.txt zu unterstuetzen. Grundlage ist ein IETF-Draft von Kevin Kelley (Anthropic), der ein neues „policy token“ vorsieht: __usage_ai-training. Website-Betreiber koennen damit in einer einzigen Regel festlegen, welche Pfade nicht fuer KI-Training verwendet werden sollen, statt fuer jeden Anbieter eigene Crawler-Regeln pflegen zu muessen. Wichtig: Laut Draft beschreibt das Token eine Nutzungspraeferenz, keine Anweisung zum Crawling; bestehende generische robots.txt-Regeln gelten nicht automatisch als Trainings-Opt-out. Zudem koennen private Vereinbarungen zwischen Publishern und KI-Anbietern abweichen.

Die Zeitplaene sind unterschiedlich: OpenAI will „in den kommenden Monaten“ implementieren und bestehende Controls wie GPTBot gelten weiter. Google peilt Support Anfang 2027 an; ohne zusaetzliche Angabe behandelt Google das Token wie einen Block fuer Google-Extended. Microsoft will ab 1. Februar 2027 unterstuetzen und ersetzt damit NoArchive/NoCache (seit 2023). Zusaetzlich kuendigt Microsoft eine separate Einstellung fuer „Grounding“ an, also wenn KI-Antworten live auf Web-Seiten zugreifen; das kann getrennt fuer Microsoft-Produkte und fuer an Dritte verkaufte Services gesteuert werden. Der Draft ist bislang eine individuelle Einreichung und kein formaler Standard.

Relevanz: Einheitliche, maschinenlesbare Praeferenzen koennen Compliance und Datenstrategie vereinfachen, gerade wenn Inhalte fuer Training und fuer Auffindbarkeit/Antwortsysteme unterschiedlich behandelt werden sollen. Gleichzeitig zeigen die Hinweise der Anbieter: Opt-outs koennen die Sichtbarkeit in KI-gestuetzten Oberflaechen reduzieren, auch wenn Suchrankings davon getrennt sein koennen.