Large-Language Model

Ben Schwan schreibt in »KI und logisches Denken: Apple-Forscher zweifeln – und warnen« für heise.de Insgesamt, so die Hypothese der Apple-Forscher, findet in den Modellen kein logisches Denken statt, was sich bei einer “Verwirrung” der Modelle durch zusätzliche Informationen zeigt, was wiederum das Ergebnis verschlechtert. “Wir vermuten, dass dieser Rückgang auf die Tatsache zurückzuführen ist, dass die derzeitigen LLMs nicht zu echtem logischen Denken fähig sind; stattdessen versuchen sie, die Reasoning-Schritte, die in ihren Trainingsdaten beobachtet wurden, nachzuahmen.” Das heißt: Auch eine “denkende KI” orientiert sich stets an dem, was sie aus den Trainingsdaten kennt. ...

Anika Reckeweg schreibt in »Sprachmodelle wachsen nicht über sich hinaus« für heise.de Laut einem Forschungsteam der Technischen Universität (TU) Darmstadt und der University of Bath führt Skalierung von Großen Sprachmodellen (Large Language Models, LLM) nicht dazu, dass diese eigenständig Fähigkeiten entwickeln, die ihnen nicht antrainiert wurden. Die LLMs greifen stets auf kontextuelles Lernen zurück. Selbes Thema, andere Quelle: Silke Paradowski schreibt in Doch (noch) kein selbstständiges, komplexes Denken: Studie unter Leitung der TU zeigt Begrenztheit von ChatGPT ＆ Co. für idw-online.de ...

Interessanter Fakt: Whisper von OpenAI wurde nur entwickelt, weil das Unternehmen bereits alle brauchbaren Texte im Internet kopiert, analysiert und zur Schulung ihres LLM genutzt hat. Mit Whisper konnten sie die Audiospuren von YouTube-Videos transkribieren und ebenfalls für ihre Schulung nutzen. indiatimes.com schreibt in »How tech giants cut corners to harvest data for AI« The artificial intelligence lab had exhausted every reservoir of reputable English-language text on the internet as it developed its latest AI system. It needed more data to train the next version of its technology – lots more. ...

David Gutensohn schreibt in »ChatGPT: Welche Jobs ChatGPT bereits ersetzt« für zeit.de Überraschend ist, dass sogar in manchen Branchen die Zahl der Anfragen zunehmen, in denen man einen negativen Effekt durch ChatGPT erwartet hätte. Beispielsweise im Kundenservice, der automatisiert werden könnte. Dort steigt die Zahl die Stellenausschreibungen an. Ähnlich wie in Jobs in der Videoproduktion, im Grafikdesign und sogar der Fotografie. Diese Tätigkeiten bleiben trotz ChatGPT weiterhin gefragt. ...

»Open Source In The Age Of LLMs« ist ein anregender Artikel, der die Reise und Erkenntnisse des Mozilla.ai-Teams im Bereich der offenen Zusammenarbeit rund um große Sprachmodelle (LLMs) darstellt. Der Autor Vicki Boykis diskutiert die Herausforderungen und Belohnungen der Beteiligung an Open-Source-Projekten und teilt wichtige Lehren, die er in diesem Prozess gelernt hat. Darüber hinaus illustriert er, wie die Kultur im Open-Source-Bereich ein inspirierendes Umfeld für kontinuierliches Lernen und Entwicklung schafft. ...