Maulin Shah, Chief Medical Information Officer bei Providence, nennt das Problem „super gefährlich“ . Sobald KI-Systeme meistens korrekt arbeiten, sinkt die Aufmerksamkeit der Nutzer. Shah beschreibt Fälle, in denen KI falsche Informationen aus fehlerhaften Patientenakten weiterverbreitet. Wenn ein Arzt versehentlich schreibt, dass ein Krebstest negativ ausgefallen sei, lernt die KI den Fehler und wiederholt diesen.

Das gilt nicht nur für die Medizin.