KI · 3. November 2026
Technologieunternehmen schlagen gemeinsame Regel zur Ablehnung von KI-Training vor
OpenAI, Google, Microsoft und Anthropic haben einen gemeinsamen Vorschlag unterbreitet, mit dem Website-Betreiber die Nutzung ihrer Inhalte für das Training von Modellen der künstlichen Intelligenz ablehnen können.
Die Initiative sieht vor, ein einheitliches Signal in der Datei robots.txt zu integrieren. Anstatt unterschiedliche Anweisungen für jeden einzelnen Anbieter erstellen zu müssen, könnten Herausgeber, E-Commerce-Unternehmen und Firmen, die proprietäre Inhalte veröffentlichen, eine einzige Regel nutzen, die von den teilnehmenden Unternehmen erkannt wird. Dieser Vorschlag wurde am 30. Oktober 2026 als Internet-Draft beim IETF durch Kevin Kelley von Anthropic im Rahmen der Arbeitsgruppe für KI-Präferenzen eingereicht. Es handelt sich dabei um einen technischen Entwurf und noch nicht um einen endgültig genehmigten IETF-Standard.
Das vorgeschlagene Signal trägt den Namen Machine-Readable Training Preference Signal. In der robots.txt-Datei wird hierfür die Kennzeichnung __usage_ai-training eingeführt, welche den Zweck der Nutzung definiert und nicht eine bestimmte Scan-Software. Um beispielsweise alle Seiten einer Website vom generativen Training auszuschließen, sieht der Entwurf die Zeilen User-Agent: __usage_ai-training und Disallow: / vor. Ausnahmen können über eine Allow-Zeile für bestimmte Ordner festgelegt werden. Dieser Token drückt eine Präferenz aus und ist kein Befehl zum Stoppen des Crawlers, sodass Suchmaschinen die Seiten weiterhin für die Indexierung besuchen können. Bestehende Kontrollen einzelner Anbieter bleiben weiterhin relevant.
Die Kontrolle betrifft spezifisch das Training generativer Modelle und verhindert nicht automatisch, dass Seiten für die Formulierung von KI-Antworten genutzt werden. In diesem Bereich verfolgen die Unternehmen unterschiedliche Ansätze. Google verknüpft die neue Präferenz mit einer bereits bestehenden Kontrolle, die auch für Funktionen von Gemini genutzt wird, was die Sichtbarkeit von Marken in den generierten Antworten beeinflusst.
Microsoft führt separate Steuerungen für das Training und die KI-Antworten ein. Während das KI-Training das neue gemeinsame Signal in der robots.txt nutzt, wird das sogenannte KI-Grounding über Metatags oder HTTP-Header auf Seitenebene gesteuert. Damit wird festgelegt, ob Dienste wie Bing, Copilot und Microsoft 365 eine Seite zur Unterstützung einer Antwort nutzen dürfen. Microsoft bietet hierfür drei Optionen an: Allow als Standardeinstellung, DisallowExtended zur Beschränkung auf Microsoft-eigene Dienste sowie Disallow für einen vollständigen Ausschluss von generierten Antworten. Die Umsetzung dieser Maßnahmen ist für Microsoft bis zum Jahr 2027 vorgesehen.