KI-Halluzinationen: 150.000 falsche Zitate bedrohen die Wissenschaft

Eine neue Studie belegt einen alarmierenden Anstieg falscher Referenzen in Forschungsarbeiten seit der Einführung KI-gestützter Tools. Die Autoren warnen, dass diese Entwicklung das Vertrauen in die wissenschaftliche Literatur untergräbt. Betreiber von Forschungsdatenbanken kündigen nun rigorosere Maßnahmen gegen KI-generierte Inhalte an.

Selbst die leistungsstärksten Sprachmodelle liefern oft irreführende oder falsche Antworten. Diese sogenannten Halluzinationen können erheblichen Schaden anrichten – auch in der Wissenschaft.

In einer neuen Studie fanden Wissenschaftler der Cornell University und der University of California fast 150.000 gefälschte Zitate. Das Team untersuchte insgesamt 111 Millionen Referenzen aus 2,5 Millionen wissenschaftlichen Artikeln.

Die meisten wissenschaftlichen Arbeiten sind zwar nicht öffentlich zugänglich, aber ihre Ergebnisse können dennoch reale Folgen haben. Von Technologie über Medizin bis hin zur Arbeitswelt tragen neue Erkenntnisse dazu bei, Prozesse zu verändern.

Um den Einfluss von KI auf die Forschungsliteratur zu messen, suchte das Team nach Zitaten, die sich keiner bekannten Veröffentlichung zuordnen ließen. Manche Fälle gingen auf Rechtschreibfehler zurück, viele waren jedoch eindeutig KI-generierte Halluzinationen.

Insgesamt identifizierten die Forscher 146.900 falsche Referenzen. Die fehlerhaften Zitate waren über viele Artikel verteilt und konzentrierten sich nicht auf einzelne Fälle.

Dieses Ergebnis deutet darauf hin, dass viele Autoren KI-generierte Referenzen übernehmen, ohne sie vollständig zu überprüfen. Die gefälschten Zitate tauchten in den Datenbanken Arxiv, Biorxiv, SSRN und Pubmed Central auf – Plattformen, auf denen Forscher ihre Arbeiten vor der Veröffentlichung in Fachzeitschriften hochladen.

Steinn Sigurdsson, wissenschaftlicher Direktor von Arxiv, warnte bereits im Februar gegenüber CNet: „Der wissenschaftliche Korpus wird verwässert. Vieles von dem, was die KI produziert, ist entweder aktiv falsch oder bedeutungslos. Es ist einfach nur ein Rauschen. Das macht es schwieriger, herauszufinden, was wirklich vor sich geht, und es kann die Leute in die Irre führen.“

Usha Haley, Professorin für Management an der Wichita State University, äußert sich ähnlich besorgt: „Gefälschte oder KI-generierte Zitate untergraben das Vertrauen in die wissenschaftliche Literatur, die die Grundlage für Peer-Reviews und kumulatives Wissen bildet. Beunruhigenderweise kommt diese Skepsis jetzt auch aus der Wissenschaft selbst und von Nachwuchswissenschaftler:innen.“

Arxiv hat bereits erste Maßnahmen ergriffen. Erstautoren müssen inzwischen eine Empfehlung etablierter Autoren vorweisen. Kürzlich kündigte das Archiv weitere Schritte gegen KI-generierte Inhalte an.

Thomas Dietterich, der Vorsitzende der Informatikabteilung von Arxiv, schrieb auf X: „Wenn eine Einreichung unwiderlegbare Beweise dafür enthält, dass die Autoren die Ergebnisse der LLM-Generierung nicht überprüft haben, bedeutet das, dass wir der Arbeit nicht vertrauen können.“

Dabei handelt es sich nicht um ein generelles KI-Verbot. Vielmehr müssen Autoren die volle Verantwortung für ihre Werke übernehmen – unabhängig davon, wie die Inhalte entstanden sind.

Bei entsprechenden Nachweisen droht ein einjähriges Arxiv-Verbot, gefolgt von der Pflicht, nachfolgende Einreichungen zunächst durch eine anerkannte Peer-Review-Plattform akzeptieren zu lassen.

Gefälschte Zitate sind kein neues Phänomen. Schon vor der Einführung großer Sprachmodelle gab es Wissenschaftler, die falsch zitierten – manchmal unwissentlich, manchmal mit voller Absicht.

Um die Entwicklung zu untersuchen, verglichen die Forscher die Häufigkeit solcher Funde vor und nach 2023. Das Ergebnis war eindeutig: „Wir stellen einen starken Anstieg nicht existierender Referenzen nach der weitverbreiteten Einführung von LLMs fest“, so die Autoren in ihrer Studie.

Die Studie unterstreicht die Dringlichkeit, KI-generierte Inhalte in der Wissenschaft kritisch zu prüfen. Ohne strenge Kontrollen droht die Forschungslandschaft in einem Meer aus bedeutungslosem Rauschen zu versinken.

Betreiber von Datenbanken wie Arxiv reagieren nun mit verschärften Regeln. Sie setzen auf Eigenverantwortung der Autoren und transparente Prozesse, um die Integrität der wissenschaftlichen Literatur zu wahren.

Die wissenschaftliche Gemeinschaft steht vor der Herausforderung, die Produktivitätsgewinne durch KI mit der notwendigen Sorgfaltspflicht in Einklang zu bringen. Denn Vertrauen in die Forschung ist die Grundlage für Fortschritt und Innovation.

Künftige Studien werden zeigen müssen, ob die ergriffenen Maßnahmen ausreichen, um die Flut an KI-Halluzinationen einzudämmen. Klar ist: ohne Gegensteuern droht die Verlässlichkeit wissenschaftlicher Publikationen nachhaltig Schaden zu nehmen.

Die Debatte um KI in der Wissenschaft ist noch lange nicht abgeschlossen. Sie erfordert einen kontinuierlichen Dialog zwischen Forschern, Verlagen und Technologieentwicklern, um angemessene Standards für die Nutzung generativer KI zu etablieren.