Crawler

Eva-Maria Weiß schreibt in »OpenAI will robots.txt ersetzen – Media Manager für Creator, Urheber, Verlage« für heise.de Bisher regelt robots.txt-Datei, welche Crawler eine Seite zulässt. Diese nutzen dann die gefundenen Informationen für beispielsweise die Google-Suche, aber auch für das Training von KI-Modellen. OpenAI will diese Datei nun ersetzen. Der Media Manager sei geeigneter, die Rechte an Inhalten online zu verwalten. Bis 2025 will das Unternehmen ihre Version einsatzbereit haben. ...

Christoph Burseg schreibt in »Reichweitenstarke deutsche Websites sperren OpenAI's GPT Bot aus« für omr.com Darunter finden sich 118 .de-Domains – zum einen von großen Medienmarken wie Bild, Spiegel, Süddeutsche, Zeit, FAZ, Stern und Welt, zum anderen aber auch von Marken und Shops wie Amazon, Ikea und Hometogo. Wenn wir ehrlich, sind bringt das gar nichts. Wenn Open AIs GPT nicht offiziell die Website abscannen darf, werden sie es inoffiziell tun oder andere mithilfe von freien Sprachmodelen wie LLaMA. ...