Auch KI-Spracherkennungstools „stellen falsch dar“

(CLO) Das Spracherkennungstool Whisper von OpenAI wird als „robust und genau wie ein Mensch“ beworben, hat aber einen großen Nachteil: Es neigt dazu, Textausschnitte oder sogar ganze Sätze zu erfinden!

Einige der von ihm produzierten Texte, die in der Branche als Halluzinogene bekannt sind, können rassistische Kommentare, Gewalt und sogar imaginäre medizinische Behandlungen enthalten, sagen Experten.

Experten halten solche Fälschungen für schwerwiegend, da Whisper in zahlreichen Branchen weltweit zum Übersetzen und Transkribieren von Interviews sowie zum Erstellen von Texten und Untertiteln für Videos eingesetzt wird.

Noch beunruhigender ist, dass medizinische Zentren Whisper-basierte Tools verwenden, um Arzt-Patienten-Konsultationen aufzuzeichnen, obwohl OpenAI davor warnt, das Tool in „Hochrisikogebieten“ einzusetzen.

Sätze, die mit „#Ground truth“ beginnen, sind das, was tatsächlich gesagt wurde, Sätze, die mit „#text“ beginnen, sind das, was Whisper transkribiert hat. Foto: AP

Forscher und Ingenieure sagen, dass Whisper bei der Verwendung häufig Halluzinationen hervorruft. Ein Forscher der University of Michigan sagte beispielsweise, er habe bei acht von zehn untersuchten Aufnahmen Halluzinationen festgestellt.

Ein Ingenieur für maschinelles Lernen entdeckte die Verzerrung zunächst in etwa der Hälfte der über 100 Stunden an Whisper-Transkripten, die er analysierte. Ein dritter Entwickler sagte, er habe in fast jeder der 26.000 mit Whisper erstellten Notizen Halluzinationen entdeckt.

Die Illusion bleibt sogar bei gut aufgenommenen kurzen Audiobeispielen bestehen. Eine aktuelle Studie von Informatikern fand 187 Verzerrungen in mehr als 13.000 klaren Audioclips, die sie untersuchten.

Dieser Trend würde zu Zehntausenden von Fehlern bei Millionen von Aufzeichnungen führen, sagten die Forscher.

Solche Fehler könnten „wirklich ernste Konsequenzen“ haben, insbesondere in einem Krankenhausumfeld, sagte Alondra Nelson, Professorin an der School of Social Sciences des Institute for Advanced Study.

„Niemand möchte eine Fehldiagnose erhalten. Die Hürde muss höher sein“, sagte Nelson.

Die Professorinnen Allison Koenecke von der Cornell University und Mona Sloane von der University of Virginia untersuchten Tausende von kurzen Auszügen, die sie aus TalkBank, einem Forschungsarchiv der Carnegie Mellon University, bezogen hatten. Sie kamen zu dem Schluss, dass fast 40 % der Halluzinationen schädlich oder verstörend seien, weil der Sprecher missverstanden oder falsch dargestellt werden könne.

Ein Sprecher beschrieb in einer Aufnahme „zwei andere Mädchen und eine Frau“, aber Whisper erfand zusätzliche rassistische Kommentare und fügte hinzu: „zwei andere Mädchen und eine Frau, ähm, schwarz“.

In einer anderen Abschrift erfand Whisper ein nicht existierendes Medikament namens „Antibiotika mit erhöhter Aktivität“.

Während die meisten Entwickler davon ausgehen, dass Transkriptionstools Rechtschreibfehler oder andere Fehler machen können, sagen Ingenieure und Forscher, dass sie noch nie ein KI-gestütztes Transkriptionstool gesehen haben, das so halluzinogen wirkt wie Whisper.

Das Tool ist in mehrere Versionen des Flaggschiff-Chatbots von OpenAI, ChatGPT, integriert und ist ein integrierter Dienst in den Cloud-Computing-Plattformen von Oracle und Microsoft, der Tausenden von Unternehmen weltweit dient. Es wird auch zum Transkribieren und Übersetzen von Text in viele Sprachen verwendet.

Ngoc Anh (laut AP)

Quelle: https://www.congluan.vn/cong-cu-chuyen-giong-noi-thanh-van-ban-ai-cung-co-the-xuyen-tac-post319008.html