KI ist Meister aller Fehlerklassen

Den Fehler an sich als unvermeidlich hinnehmen. Wirklich tief im Inneren. Check! Und dann kommt irgendein hyper-aktiver super-schlauer junger Mensch, der mit Vollgas auf die You-Tube drückt oder dir ein Insta-Kilogramm vor den Latz knallt, indem er dir das Allzweck-General-Wundermittel gegen die unheilbare Fehleritis der KI anbietet. Das sollten wir nicht einfach so akzeptieren.

Bitte nicht falsch verstehen, ich schau sowas gerne und da ist auch viel Nützliches dabei und ein bisschen Klappern gehört zum Handwerk.

Aber mal ehrlich.

Mit diesem Trick macht die KI keine Fehler mehr
Damit zwingst Du Claude immer die Wahrheit zu sagen
Nur 0,000000001% der Menschen nutzen diesen Wahrsager-Hack

Wie können die das behaupten, wo doch ich ganz allein die Lösung habe, wie man mit den Fehlern der KI umgeht. Und für mich persönlich habe ich das auch tatsächlich. Nicht als das eine Gesetz für alles, der eine Kniff, der immer funktioniert. Den gibt es nämlich nicht. Das haben Google, OpenAI und Anthropic nicht einfach nur schlampig implementiert. Und das schafft auch keiner mit ’nem Hack oder Trick. KI-Fehler sind schlicht fundamental unvermeidbar. Das gilt für Mitmenschen und alle anderen Mit-Intelligenzen, also Tiere, KIs und sonstige Aliens.

Wenn Vermeiden nicht geht, dann eben bestmöglich damit umgehen. Und da gibt es Prinzipien und Methoden, die dem Kern des Problems gerecht werden. Zumindest gerechter als irgendein One-Click-Wunder, das genauso gut klappt wie jedes andere Perpetuum Mobile. Ich will dem Kollegen, der ziemlich erfolgreiche und gute Videos macht, nichts Böses, aber er bietet ein Medikament an, ohne die Krankheit zu (er)klären. Das Problem ist: Es entfaltet sogar seine Wirkung, aber ist deswegen nicht unbedenklich. Es macht abhängig, weil es den Konsumenten unaufgeklärt lässt. Der Beipackzettel fehlt komplett.

Das Versprechen, dass irgendwas unfehlbar und immer gegen alle Fehler hilft, ist Quacksalberei der Neuzeit.

Aber vor allem wiegt es einen in falscher Sicherheit, gerade weil es ja auch funktioniert und logisch klingt und einen riesigen Kern Wahrheit enthält.

Ich erkläre es an einem konkreten Beispiel. Besagter Youtuber geht steil auf ein skill-basiertes System, das Claude dazu bringt, die Antwort von 10 – in Worten zehn – Agenten nochmal durch den Fleischwolf drehen zu lassen. Ein Agent denkt die Fragestellung nochmal neu, einer probiert es unter einem anderen Kontext. Einer spielt des Teufels Advokat. Wieder ein anderer verifiziert oder falsifiziert die Aussagen nochmal. Einer negiert die Frage und will das Gegenteil und noch weitere Aktionen. Und wenn die 10 Agenten dann durch sind, dann ist die Antwort fehlerfrei. So zumindest die Behauptung.

Aber das Gegenteil von gut ist eben doch gut gemeint. Und all die 10 Agenten sind für sich auch richtig und haben ihren fairen Platz im Kampf gegen KI-Fehler. Und man darf und kann und soll sie sogar kombinieren. Aber alles in einen Mixer zu geben und kräftig durchzumischen und das als die Lösung gegen Fehler zu verkaufen ist unlauter – und für sich selbst gesehen ironischerweise ein systematischer Fehler.

Hier meine Begründung, warum ich gegen diese Art von All-In-One-Lösung bin.

Es ist nicht wirtschaftlich. Ich bin kein Freund davon, auf Token-Sparsamkeit zu pochen. Nicht weil ich gerne Geld zum Fenster rauswerfe, aber sparen muss dabei nachgelagert sein. Beim Autofahren-Lernen – wo alles zusammenkommt: Verkehrsregeln, ungewohnte Bewegungsabläufe, situative und reaktive Höchstleistung – ist es ja auch nicht förderlich, gleich in den ersten Praxis-Stunden Sprit- oder Energiesparsamkeit einzubauen und darüber den Blinker oder Schulterblick zu vergessen. Das darf später, wenn man fahren kann, ein Thema sein. Also ist das wirklich mein schwächstes Argument gegen 10-Agenten-Fehler-Terminator. Aber 10 Agenten auf jedes Popel-Problemchen loszujagen ist echt drüber.
Es wiegt einen in falscher Sicherheit. Indem es den Anschein erweckt, die einfache und unfehlbare Lösung zu sein – die es nun mal nicht ist! – führt es zur Vernachlässigung der Sorgfaltspflicht und Prüfung des Ergebnisses. Risikoüberkompensation. Damit kommt das Gesamtsystem unter Umständen sogar auf ein höheres Risikoniveau, weil die letzte Prüfinstanz einfach weggelassen wird oder zu dünnbrüstig ausfällt.
Es ist falsch. Das alles entscheidende und unbestreitbare Totschlagargument. Es kann überhaupt gar nicht alle Fehler vermeiden. Geht nicht. Alle sowieso nicht und auf diese Weise dreimal nicht. Weil die Agenten korreliert sind, also nicht unabhängig – sie sind von der gleichen Bauart. Zehn Artikel von dem gleichen Enthüllungsjournalisten in unterschiedlichen Medien machen seine Story auch nicht wahrer. Sich selbst kontrollieren ist besser als gar nicht kontrollieren, aber mit Sicherheit – also mit echter wissenschaftlicher Garantie – kein fehlerfreies System. Und das große echte Problem, das ich damit habe. Es systematisiert diesen Fehler und verkauft das Ergebnis als fehlerfrei. Etikettenschwindel ist noch das Harmloseste, was mir dazu einfällt.

Aber genug gemeckert darüber, was andere nicht perfekt machen. Eigentlich geht es ja darum, ein möglichst fehlerfreies Gesamtsystem hinzubekommen, wenn schon die einzelne LLM das nicht kann. Ein System, bei dem die KI ihren wertvollen Teil beiträgt.

Und was ist jetzt mein ach so tolles System, das alles besser macht. Wieso taugt meine Methode mehr und wo und wie kann man das mal selbst prüfen, Mr. Oberschlau. Herr Neunmalklug, Ihr Auftritt bitte.

Gerne.

Schritt 1: Hintergrundverständnis Habe ich in meinem letzten Post hoffentlich aufgebaut. Gerne mal lesen, falls noch nicht geschehen, oder jetzt einfach unbesehen glauben. Ein lernendes Etwas – egal ob Mensch, Tier oder Maschine – muss Fehler machen, sonst wäre es unfähig zu lernen. Also Fehler komplett, für immer und überall zu eliminieren ist eine Sackgasse. Fakt und abgehakt.

Schritt 2: Analogien finden KI kann lernen und macht Fehler. Wir können mit lernfähigen und fehleranfälligen Menschenwesen aber schon super umgehen. Das haben wir an uns selbst genug lange trainiert und optimiert.

Nur mal ein kleiner Auszug aus dem, was wir an Pfeilen im Kampf gegen Fehler im Köcher haben. Alle sind real und konkret im Einsatz. Und es gibt noch viel mehr:

[Dieser Absatz ist AI generiert - Anfang]

Poka-Yoke, Rubber Duck, Totmannschalter, Vier-Augen-Prinzip, Canary, Shisa Kanko, Swiss Cheese, Pre-Flight-Check, Andon-Reißleine, Smoke Test, Red Team, Formschluss, Checkliste, Fail Fast, Read-back, Interlock, Dry Run, Kill Switch, Plausi-Check, Pair Programming, Sterile Cockpit, Watchdog, Über-Nacht-Regel, Prüfziffer, Devil’s Advocate, Rollback, Point-and-Call, Zweihand-Auslösung, Pre-Mortem, Stichprobe, Jidoka, Gegenzeichnung, Chaos Engineering, Überschlagsrechnung, Buddy-System, Forcing Function, Kassensturz, Guardrails, Generalprobe, Two-Man Rule, Quersumme, Sicherheitsmarge, Heartbeat, Regressionstest, Gurt und Hosenträger, Dual Control, Sanity Check, 5-Why, Stage-Gate, Rückwärtsrechnen, Circuit Breaker, Cooling-off, Crew Resource Management, Backup, Fishbone, Tripwire, A/B-Test, Redundanz, Checksumme, FMEA, Near-Miss-Meldung, Safe Defaults, Reconciliation, Blameless Postmortem, Drift-Erkennung, Sign-off, Defense in Depth, Speak-up-Kultur, Graceful Degradation, Just Culture, Feature Flag, Sichtprüfung, Fail Safe, Debriefing, Undo, Inventur, Grenzwert-Alarm, TÜV

[Dieser Absatz ist AI generiert - Ende]

Schritt 3: Vereinfachen und übertragen Lass uns das, was wir Menschen im Kampf gegen Fehler an Rüstmitteln erarbeitet haben, auf die KI übertragen und dabei die paar menschen-untypischen KI-Eigenheiten besonders betrachten. Wir müssen jetzt nicht jedes einzelne Fehler-Verfahren auf KI-Tauglichkeit prüfen und adaptieren. Aber die Grundprinzipien hinter der langen Liste lassen sich auf wenige eindampfen – entlang von drei Fragen:

Wie verhindere ich Fehler?
- Fehler unmöglich machen (Poka-Yoke): Wenn möglich natürlich der stärkste Hebel – den Fehler nicht abfangen, sondern baulich ausschließen. Der Stecker, der nur in eine Richtung passt.
- Vereinfachung: Wenn es einfacher geht, einfacher machen. Jedes überflüssige Teil ist eine zusätzliche Fehlerquelle – Standards und Automatisierung räumen auf.
Wie erkenne ich Fehler?
- Redundanz: Dieselbe Frage in unabhängigen Kontexten stellen. Machen mehrere unabhängige Wege denselben Fehler, ist er unwahrscheinlich – machen sie verschiedene, fällt er auf.
- Verifikation: Überprüfbarkeit von Anfang an einbauen, nicht hinterher hoffen. Was sich nicht prüfen lässt, lässt sich auch nicht korrigieren.
- Früh und klein scheitern: Kleine Schritte, schnelles Feedback. Derselbe Fehler ist nach einer Stunde eine Korrektur, nach drei Monaten eine Katastrophe.
- Kompetenz: Der Mensch behält die Verantwortung – und damit die Fähigkeit, Fehler überhaupt zu erkennen. Wer nur noch abzeichnet, verlernt das Prüfen; Kontrollmüdigkeit trifft Experten wie Laien.
Wie überlebe ich Fehler bzw. wie gehe ich mit ihnen um?
- Schadensbegrenzung: Wenn der Fehler trotzdem passiert: Wirkung klein halten und rückgängig machen können. Isolation begrenzt den Schaden im Raum, Reversibilität in der Zeit – ein umkehrbarer Fehler ist ein Lernmoment, ein unumkehrbarer ein Schaden.
- Fehlerkultur: Fehler offen behandeln statt sanktionieren. Wer Fehler versteckt, verhindert nicht den Fehler – nur das Lernen daraus.

Und ein Teil davon lässt sich direkt und problemlos im täglichen Prompten anwenden. Einfach, konkret, wirksam.

Vereinfachung – Schneide den Elefanten in Scheiben Die KI ist Generalist und kann alles ziemlich gut, aber nicht gut alles auf einmal. Die Lösung ist so nah. Die KI ist nämlich auch Spezialist, wenn man ihr nur sagt, sie soll einer sein und plötzlich hat man damit ein Team an Spezialisten, die man „nur“ noch orchestrieren muss. Also statt alles in einen riesigen Prompt zu packen, in kleine optimierbare Pakete schnüren. Ein wenig „Was, wenn ich das eine komplette Firma machen lassen würde?“. Am konkreten Beispiel meines Redaktionsprozesses erklärt. Ich schreibe und veröffentliche mehr oder weniger regelmäßig diesen Substack-Newsletter, den du gerade liest. Und, ja, ich schreibe alles selbst und es sind meine Worte und Sätze. Aber KI hilft mir natürlich dabei. Einmal in der Recherche. Ich habe eine Idee oder einen Gedanken, den ich ausbauen will. Da sammle ich Information und bündle die. Manchmal so sehr, dass ich eine eigene Webseite baue – ein Nebeneffekt im Newsletterprozess. Dann schreibe ich runter. Einfach so, mit schrecklich vielen Schreibfehlern, echten Lücken und Drehern. Die reinen Schreibfehler macht mein KI-Cleaner – nur echte Fehler, und er ist der Einzige, der direkt im Text ändern darf. Erst dann hab ich den Mut, es meinem KI-Coach zu geben. Der passt nichts an, gibt aber seine Kommentare. Trägt die Story? Macht sie übergreifend Sinn? Was ist zu lang oder zu verworren? Wo reißt der nie vorhandene rote Faden? Was ist besonders gut und was eher Schund. Er gibt Tipps, die ich einbauen kann, aber nicht muss. Das kann auch ein paar Iterationen dauern, aber das ist auf jeden Fall hilfreich, die Gedanken im eigenen Saft zu ordnen. Und wenn ich damit fertig bin, geht es zum KI-Lektor. Neue Schreibfehler sind dabei nur Nebensache, aber er prüft auf Lesbarkeit, Korrektheit, Stil, Ton, Struktur usw. Auch hier Tipps, aber eher eine Liste für mich zum Abarbeiten, weil es halt echte Fehler oder Stolperer sind. Und dann gehts zum KI-Closer. Der macht es Substack ready. Mechanisch. Und wenn ich das jetzt so lese, denke ich cool. Das muss ja laufen wie am Schnürchen und nur geniale perfekte Newsletter generieren. Tut es nicht. Aber das, was an Fehlern und Wirrungen und Falschaussagen im Endergebnis bleibt, ist Stil.

Vereinfachung – Mach es immer gleich, wo es geht Standards helfen. Dumb it down. Das kann man auch super aufs Team übertragen. Ein Fehler, den alle machen, ist besser, weil er leichter erkannt wird und nachhaltiger gelöst wird. Aber vor allem, der Standard verhindert die Fehler durch Nachlässigkeit oder Unaufmerksamkeit. Wo es geht, soll die Qualität nicht an der Person oder KI hängen, die es macht. Nutze ein Schema, nutze eine Methode. Definiere Qualitätsstandards. Im Output oder im Prompt. Mein Standard ist ein Prompt-Pattern und eine Methode der Prompt-Generierung.

Redundanz Das Gleiche nochmal machen, nur anders und vor allem woanders. Drei parallele Chatfenster sind fast schon Standard bei mir. In einem bereite ich auf und vor. Bring die Daten auf Vordermann, recherchiere und kläre und optimiere, was ich eigentlich will. Im zweiten mach ich das Gleiche nochmal mit einer anderen KI, oder nehme die Ergebnisse aus Chat 1 nochmal auseinander – unter der Prämisse, dass alles daran falsch ist: des Teufels Advokat, Red Team, Steelman. Falls notwendig, weil zu lang oder komplex, lass ich im dritten Fenster das Delta der beiden Chatfenster ermitteln und analysieren und bewerten.

Verifikation Idealerweise vergibt man an die KI nur Aufgaben, die man auch möglichst einfach verifizieren kann. Also testen und prüfen sollte billiger sein, als es von Anfang an selbst zu machen. Also Ergebnisse nachrechnen. Stichproben bei Quellenangaben. Startet das Programm ohne Fehler. Funktioniert die Kernfunktion.

Kompetenz Wer gut aufgepasst hat, hat bemerkt, dass meine Redundanz- und Verifikations-Beispiele die langweilige und vermeintlich schlechtere Version von unserem 10-Agenten-1-Click-Magic von oben sind. Der Unterschied – ich bleibe als Kompetenz dazwischen. Ich kann jeden Schritt kontrollieren und optimieren. Ich kann auch fallweise und beliebig automatisieren. Und ich kann unterschiedliche Daten oder LLMs verwenden. Die Prüfung holistisch oder stichprobenhaft machen. Der entscheidende Punkt ist, ich verantworte alle korrekten und guten Ausgaben der KI, aber auch all ihre Fehler. Daher steuere ich aus, wie und wo und wie viel. Und das hält mich nebenbei kompetent und gewappnet für die nächste Aufgabe, die ich mit KI optimieren möchte.

Die Übertragung von Poka-Yoke, Schadensbegrenzung und Fehlerkultur ist weniger direkt und unmittelbar möglich, auch wenn sie einen großen Hebel darstellen. Vielleicht findest du ja einen cleveren Poka-Yoke-Kniff oder schaffst es, eine KI-Fehlerkultur zu etablieren. Ich wäre an deinen Ideen sehr interessiert.

Ein paar konkrete und KI-spezifische Fehlervermeider habe ich aber noch. Also die KI-Schwachstellen kennend:

Ein Chat kann verbrannt sein. Die KI halluziniert, dreht sich im Kreis, widerspricht sich, obwohl sie doch am Anfang noch ganz vernünftig war. Klarer Fall: Context distraction … nicht weitermachen und hoffen, es wird besser oder man bekommt die KI noch überzeugt. Retten, was zu retten ist – also sich eine Zusammenfassung des Chats geben lassen und damit frisch und neu in einem unverbrauchten Chatfenster anfangen. Und das Beste, das Ganze geht auch proaktiv. Ab einer gewissen Dauer oder Länge im Chat einfach zusammenfassen lassen und im nächsten weitermachen. Spart Frust.
Bei einem Thema bleiben. Ich schweife gerne ab und ein Gedanke bringt einen neuen manchmal komplett in einem anderen Kontext. Also warum nicht einfach weiterchatten. Die KI antwortet doch brav und zieht mit. Das ist eine trügerische Falle. Also: Neuer Gedanke oder neues Thema heißt neues Fenster.
Ein wenig Funkdisziplin. Einerseits bin ich ein großer Verfechter davon, nicht die eigene Sprache und Denkweise der KI anzupassen und lieber mehr Info mitgeben, als man selbst für nötig hält. Der KI auch von Anfang an mehr zutrauen als man von einem Rechenknecht erwartet. Aber man sollte auch nicht ins Schwafeln geraten.

Das Ziel ist nicht die fehlerfreie Maschine. Das Ziel ist ein System, das die richtigen Fehler macht, aus ihnen lernt und die falschen daran hindert, sich fortzupflanzen und zu systematischen Fehlern zu werden.

In eigener Sache: Ich schreibe meine Posts selbst mit den Worten aus meinem Kopf. KI hilft mir in der Recherche und als Berater und bei der technischen Korrektur. Aber der Post ist aus mir, von mir als Mensch. Die Bilder sind alle KI-generiert und meine Webseite erstelle und hege und pflege ich mit Claude – auch zum großen Teil inhaltlich. Bei meinem Newsletter werde ich im Rahmen der Transparenz-Kampagne die wenigen Textabschnitte (meist Aufzählungen oder Tiraden des Witzes wegen) deutlich als KI-generierten Abschnitt kennzeichnen – auch rückwirkend. Das heißt, was nicht gekennzeichnet ist, ist von mir. Isch fei so. Schwöre.

Haupthirn aus – Darmhirn an

Ganz fehlerfrei geht nicht. Auch nicht bei großen, fehlerminimierenden Systemen. Das soll jetzt nicht sarkastisch klingen, aber wenn es das gäbe, würden wir es doch längst einsetzen – gegen Flugzeugabstürze, vergessene Wattebäusche in der Bauch-OP, den AKW-Super-GAU. Und nein, das ist mit Faktor Mensch nicht abgetan und wird mit Faktor KI auch nicht prinzipiell verschwinden. Fehler gehören dazu. Seltener, weniger drastisch in den Auswirkungen, kontrollierbar, wenn es passiert – das sind die wahren Ziele. Die sind erreichbar.

Null Fehler kann man anstreben, klar. Verkauft sich auch besser als „Wir streben nur noch einen katastrophalen Flugzeugabsturz pro Jahr an“. Jeder will Null, für immer. Aber wollen genügt nicht. Wir haben uns bereits immens verbessert: von bis zu 100 Abstürzen pro Jahr auf eine Handvoll, und das bei massiv gestiegenem Verkehrsaufkommen. Vielleicht schaffen wir einen Absturz alle zwei Jahre. Alle zehn. Es geht nicht um die Zahlen – und doch auch. Denn ab einem gewissen Punkt ist die nächste Verbesserung nicht mehr sinnvoll – im wirtschaftlichen Sinn – möglich.

Und jetzt der unbequeme Teil. Ich will nicht gegen Fluggesellschaften ranten. Aber all die Sicherheitsvorkehrungen gibt es nicht, weil im Vorstand nur moralisch ausgeglichene Menschenfreunde sitzen. Eine Hauptmotivation: Ein Nachrichtenbeitrag zur besten Sendezeit, der das eigene Firmenlogo am Heck eines brennenden Wracks zeigt, will kein Entscheider sehen. Das hat super direkte Auswirkungen auf die Jahresbilanz und den nächsten Bonus. Klar, Leben schützen ist gut und lässt sich prima verkaufen. Win-Win. Aber die Sicherheit der Luftfahrt ist kein Zufall und keine Tugend – sie ist auch eine Eigenschaft des Mediensystems. Ein Absturz tötet viele Menschen auf einen Schlag, an einem Ort, mit einem Logo am Heck. Das ist eine Woche echte Anti-Werbung für die Firma.

Der sauberste Beweis dafür fliegt übrigens direkt neben den Airlines her: die Kleinfliegerei. Gleiche Aerodynamik und Physik, gleiche Atmosphäre, gleiches Land, dieselbe Aufsichtsbehörde, teilweise dieselben Flugplätze. Aber pro Flugstunde ist die Privatfliegerei um ein Zigfaches gefährlicher als der Linienflug – risikomäßig näher am Motorrad als am A320. Und das seit 40 Jahren nur marginal verbessert, zumindest im Vergleich zur Verkehrsluftfahrt, die stetig und rasant sicherer wurde. Woran liegt’s? Nicht an fehlendem Wissen. Die Methoden – Checklisten-Disziplin, verpflichtende Trainings, systematische Fehlerauswertung – sind bekannt und wären übertragbar. Sie werden nur nicht angewendet. Denn eine abgestürzte Cessna mit zwei Toten ist eine Regionalmeldung, kein Brennpunkt. Kein Logo am Heck, kein Konzern, der zittert, kein Druck. Alles gleich – außer der Sichtbarkeit. Und das Ergebnis unterscheidet sich um zwei Größenordnungen.

Oder nimm die Medizin. Vermeidbare Behandlungsfehler in deutschen Krankenhäusern kosten – je nach Schätzung, die Zahlen sind umstritten – jedes Jahr ein Vielfaches aller Verkehrstoten das Leben. Für jeden Flugzeugabsturz gibt es eine verpflichtende, unabhängige Untersuchung. Für den vergessenen Wattebausch gibt es: nichts Vergleichbares. Gleiche menschliche Gesellschaft, gleicher Wert eines Menschenlebens, komplett anderes Sichtbarkeits-Regime. Rate mal, wo mehr Menschen sterben. Und mit an Flugsicherheit grenzender Wahrscheinlichkeit könnte man hier menschenrettende Verbesserungen erzielen.

Fehler gehören dazu. Sie zu vermeiden ist wichtig und richtig. Sie ausmerzen zu wollen oder mantra-mäßig kategorisch auszuschließen ist utopisch – und wer dir Null verspricht, verkauft dir Marketing, kein System. Das ist die wissenschaftliche Wahrheit. Aber hinter Fehlern steckt auch eine menschliche oder unmenschliche Ökonomie. Die macht im Zweifel nicht mal vor dem Leben halt.

Ich hab mich bei meiner Recherche in das Prinzip verliebt, das Fehler-Vertuschen zu bestrafen, und nicht das Fehler-Machen. Das hört sich so gut an, dass es klappen könnte. Zumindest scheint das das richtige Mindset zu sein und das wird bei den Fluggesellschaften auch gelebt.