
AI-giganten steunen nieuwe standaard tegen ongeautoriseerd schrapen
OpenAI, Google, Microsoft en Anthropic gaan een gezamenlijke controle ondersteunen waarmee uitgevers hun voorkeuren voor AI-training kunnen instellen. Dit gebeurt door een enkele instellingen in plaats van het herhalen van dezelfde keuze bij elk bedrijf afzonderlijk.
Eén signaal voor alle AI-bedrijven
De nieuwe "policy token" wordt voorgesteld door Kevin Kelley, technisch leider voor standaarden bij Anthropic. Het systeem wordt opgenomen in het robots.txt-bestand van websites, een bestand dat lange tijd al bepaalt welke webcrawlers een site mogen bezoeken. Uitgevers kunnen daarmee voorkomen dat hun inhoud voor AI-training wordt gebruikt.
Hoe het werkt
Anthropologic heeft het signaal al ingevoerd. Google en Microsoft zeggen het volgende jaar te implementeren, terwijl OpenAI dat in de komende maanden wil doen. Microsoft biedt extra opties: uitgevers kunnen apart kiezen voor blokkering van AI-training of het zogenaamde "AI grounding", waarbij AI-modellen naar verificatoren worden verwezen om onnauwkeurigheden te verminderen.
Antwoord op toenemende scraping
De maatregel reageert op de groeiende stroom AI-crawlers die websites doorzoeken. Verschillende partijen proberen dit tegen te gaan: de Really Simple Licensing-standaard laat uitgevers geld vragen van crawlers, en Cloudflare blokkeert AI-bots standaard. Microsoft geeft aan dat websites in Bing nog steeds zichtbaar blijven, ongeacht de gekozen voorkeuren.


