That changes today, July 1, what we’re calling Content Independence Day. Cloudflare, along with a majority of the world’s leading publishers and AI companies, is changing the default to block AI crawlers unless they pay creators for their content. That content is the fuel that powers AI engines, and so it’s only fair that content creators are compensated directly for it.

Das ist spannend, denn über Cloudflare läuft rund ein Fünftel des gesamten Internetverkehrs. Wenn das funktioniert, ziehen andere Anbieter wahrscheinlich nach. Für Hostinganbieter könnte das ein echter Vorteil sein. Ihre Server würden entlastet und vielleicht ließe sich das Ganze sogar querfinanzieren, vorausgesetzt, die Rechteinhaber machen mit. Möglich, dass sich daraus ein Katz-und-Maus-Spiel entwickelt. Auf jeden Fall bleibt es interessant.

Bisher regelt robots.txt-Datei, welche Crawler eine Seite zulässt. Diese nutzen dann die gefundenen Informationen für beispielsweise die Google-Suche, aber auch für das Training von KI-Modellen. OpenAI will diese Datei nun ersetzen. Der Media Manager sei geeigneter, die Rechte an Inhalten online zu verwalten. Bis 2025 will das Unternehmen ihre Version einsatzbereit haben.

Es ist nachvollziehbar, dass die Verwendung von robots.txt im Kontext sozialer Netzwerke als unzureichend betrachtet wird. Im Betrieb einer Webseite hat sich dagegen die robot.txt dank ihrer Simplizität als effektivstes Tool bewährt. Ich bezweifle dass es großes Interesse geben wird, den Media Manager von openAI nutzen zu wollen.