Dass die KI lügt, ist das kleinste ihrer 17 Probleme.

Newsflash: KI lügt und halluziniert. Das mit dem Lügen, damit kann man sich arrangieren. Mich stört auch nicht das Halluzinieren — sondern dass alle so tun, als wären das schon alle Probleme der LLMs. Aber es gibt siebzehn!

Die übliche Verfahrensweise ist, das ganze Thema in einen kurzen Disclaimer unter alle KI-Erzeugnisse zu packen, nach dem Motto:

Achtung! KI kann Fehler machen. Prüfen Sie alles noch 5–10 Mal, bevor Sie wichtige Entscheidungen auf Basis dieser Daten treffen!

Das ist aber kein praktikabler Tipp, wie man damit umgehen soll, und stärkt auch nicht das Vertrauen in die KI als Ganzes. Es beruhigt zwar ein wenig und zeigt, dass die KI doch nicht so allmächtig ist. Aber der fahle Beigeschmack des Misstrauens bleibt. Letztlich ist es aber doch nur ein Cover-Your-Ass, ein schneller Haftungsausschluss und die Verlagerung der Prüfpflicht auf mich.

Das ist ein wenig so, als würde der Kellner, der mir freundlich die Kässpätzle serviert, mir einen guten Appetit wünschen und sich mit dem Hinweis “Es könnte sein, dass wir ein paar Glassplitter im Käse haben. Kauen Sie vorsichtig.” lächelnd abwenden.

OK, Glasscherben im Essen finde ich schon gravierender als ein bisschen Flunkern, aber beide Hinweise helfen mir nicht wirklich weiter oder lassen mich mit einer ziemlich blöden Entscheidung allein. Ich mag Kässpätzle und ich mag KI – aber so einfach genießen kann ich mit dem Wissen eben nicht mehr.

Aber warum ist das eigentlich so? Warum lügt denn das mächtigste Werkzeug der Menschheitsgeschichte überhaupt? Interessante Frage, also die Ärmel hochgekrempelt und nachgeschaut. Da ist ja ein Kaninchenbau?! Da muss ich rein!

Und schnell wird klar: Die KI kann nichts dafür, dass sie es gerne mal nicht so genau nimmt mit der Wahrheit. Sie wurde so gebaut. Also nicht mit Absicht, aber es ist ein negativer Seiteneffekt ihres Trainings. LLMs lernen über Feedback und Belohnung, und um das Ziel – eine Konversation – zu erreichen, werden LLMs fürs Antworten belohnt und nicht fürs Schweigen. Und da ist es dann wie beim Multiple-Choice-Test: lieber auch mal wild raten oder was erfinden als nichts zu machen. Mit diesem Mindset kommt die KI besser und schneller ans Ziel. Und das Flunkern ist damit Teil des KI-Genoms.

Damit ist das Thema abgehakt und ich hab wieder was gelernt. Doch Moment. Da sind ja noch andere Probleme.

Ja, da war doch was mit eingeschmuggelten Zaubersprüchen in Harry-Potter-Büchern, die man der KI als Input untergejubelt hat. Und die hat sich dann mehr darauf verlassen, dass sie die Harry-Potter-Bücher und alle Zaubersprüche darin schon kennt – auf gut technisch heißt das Parametric Memory Bias – und hat dann nicht mehr so genau die neue, manipulierte Quelle gelesen. Die falschen Zaubersprüche standen mittendrin im Buch – und genau dort schaut die KI am wenigsten hin. Gut am Anfang, sehr gut am Ende, aber Informationen, die mehr in der Mitte von langen Kontexten stehen, werden weniger beachtet, überlesen und weniger stark gewichtet. Das eine entscheidende Detail in einem Berg von Daten zu finden, ist ohnehin ihre Schwäche. Sie hatte die falschen Zaubersprüche also einfach überlesen. Absolut verständlich für einen Menschen, aber halt nicht für eine Maschine. Das ist aber auch ein wenig fies und hört sich an wie eine absichtlich konstruierte Falle, um die KI reinzulegen. Kommt aber halt auch im echten Leben und mit echten Daten vor, deswegen sind es auch echte Probleme.

Und damit ist leider noch nicht das Ende der Fahnenstange erreicht. Insgesamt siebzehn solcher chronischen, unheilbaren Schwächen hat ein gutes LLM heutzutage. Zum besseren Verständnis habe ich mal alle siebzehn LLM-Pathologien in einem Atlas erklärt, kartographiert und kategorisiert.

Und damit nicht genug: Die Probleme sind nicht nur losgelöst nebeneinander und warten auf individuelle Sonderbehandlung. Sie sind schön fest eingebacken und miteinander unwillkürlich verschränkt und in Wechselwirkung miteinander.

Na ja, so schlimm kann es ja jetzt nicht mehr sein. Wenn man die Probleme benennen kann, kann man sie auch lösen (oder damit umgehen). Vor allem könnte man einen besseren Disclaimer schreiben:

Achtung: KI kann halluzinieren, vergessen, heute so und morgen so sagen, schwach anfangen und stark nachlassen, brillant klingen und nichts sagen, eine falsche Antwort schöner formulieren als jede richtige, “selbstverständlich!” sagen und dann das Gegenteil tun… Sie kann Ihnen recht geben, bis Sie selbst zweifeln, jeden Ihrer Einfälle für genial halten, Ihre Korrektur dankbar annehmen und sofort ignorieren, jede Meinung haben, die Sie hören wollen, fünf Gegenargumente kennen und keines bringen, weil Sie freundlich gefragt haben, lieber elegant irren als unbequem stimmen… Sie kann drei Absätze brauchen, um “weiß ich nicht” nicht zu sagen, eine Liste mit “abschließend” beginnen und dann weiterschreiben, “kurz gesagt” sagen und weit ausholen, das Problem lösen, das Sie nicht hatten, sich im Kreis drehen und das für Fortschritt halten… Sie kann Quellen zitieren, die es nie gab, mit Inbrunst auf die falsche Jahreszahl bestehen, Schach spielen und dabei die Regeln neu erfinden, todsicher sein und komplett danebenliegen, beim dritten Mal denselben Fehler mit neuer Begeisterung machen, im Wald stehen und nach dem nächsten Baum fragen, alles wissen außer dem, was Sie gerade brauchen … Kurz gesagt: Die KI ist ein begnadeter Bullshitter mit Weltwissen – nur nützlich, solange Sie der Erwachsene im Raum bleiben.

Dieser Disclaimer wäre nicht unbedingt wertvoller, aber vollständiger und ehrlicher, und er würde mehr Verständnis aufbauen. Aber ja, er ist eindeutig zu lang. Dann doch lieber direkt auf die Landkarte und den Wegweiser durch die 17 Pathologien der KI verlinken.

Und was ist jetzt die Lösung? Was, wenn ich mich halt mal auf die KI verlassen will oder muss? Na ja, bei Mitmenschen haben wir doch ähnliche Problemfelder, eher sogar mehr davon und variantenreichere. Und trotzdem klappt das Miteinander seit ein paar Tausend Jahren doch schon ganz gut – und ganz ohne expliziten Disclaimer. Weil wir gelernt haben, mit uns umzugehen. Genau das fehlt uns bei der KI noch. Aber auch das ist lernbar.

Es lohnt sich.

So … mein erster Post ist fertig. Mal noch ein wenig doom-prompten gehen. Mist, es gibt noch weitere Probleme. Vielleicht erweitere ich den Atlas der 17 KI-Probleme noch.

Was meinst du?