Eva-Maria Weiß schreibt in »OpenAI will robots.txt ersetzen – Media Manager für Creator, Urheber, Verlage« für heise.de

Bisher regelt robots.txt-Datei, welche Crawler eine Seite zulässt. Diese nutzen dann die gefundenen Informationen für beispielsweise die Google-Suche, aber auch für das Training von KI-Modellen. OpenAI will diese Datei nun ersetzen. Der Media Manager sei geeigneter, die Rechte an Inhalten online zu verwalten. Bis 2025 will das Unternehmen ihre Version einsatzbereit haben.

Es ist nachvollziehbar, dass die Verwendung von robots.txt im Kontext sozialer Netzwerke als unzureichend betrachtet wird. Im Betrieb einer Webseite hat sich dagegen die robot.txt dank ihrer Simplizität als effektivstes Tool bewährt. Ich bezweifle dass es großes Interesse geben wird, den Media Manager von openAI nutzen zu wollen.