Scaling

Tim Elsner schreibt in »Mein Irrtum: Warum die Grenzen von LLMs weiter entfernt sind, als ich dachte« für golem.de Das Wachstum von Daten und Rechenleistung, selbst von besseren Trainingsstrategien, wird uns keine echte Intelligenz bescheren. Dafür ist das aktuelle Grundprinzip, wie LLMs funktionieren, zu limitiert. Denn das ist im Kern immer noch eine mittlerweile neun Jahre alte Veröffentlichung, etwas nachjustiert und technisch modernisiert. Für echten Fortschritt bräuchte es aber Innovationen in der grundlegenden Technik, die hinter LLMs steckt. ...

Anika Reckeweg schreibt in »Sprachmodelle wachsen nicht über sich hinaus« für heise.de Laut einem Forschungsteam der Technischen Universität (TU) Darmstadt und der University of Bath führt Skalierung von Großen Sprachmodellen (Large Language Models, LLM) nicht dazu, dass diese eigenständig Fähigkeiten entwickeln, die ihnen nicht antrainiert wurden. Die LLMs greifen stets auf kontextuelles Lernen zurück. Selbes Thema, andere Quelle: Silke Paradowski schreibt in Doch (noch) kein selbstständiges, komplexes Denken: Studie unter Leitung der TU zeigt Begrenztheit von ChatGPT ＆ Co. für idw-online.de ...