KI ist Boss in jeder Fail-Klasse. Klasse.

Fails sind unvermeidbar, hast du gecheckt. Wirklich deep im Inneren. Check! Und dann kommt so ein hyperaktiver Big-Brain-Youngster, der auf YouTube Vollgas gibt oder dir ein Kilo Insta vor den Latz knallt, indem er dir das Allzweck-Wundermittel gegen die unheilbare Fehleritis der KI andreht. Das sollten wir nicht einfach so schlucken, real talk.

Nicht falsch verstehen, sowas schau ich gern, da ist echt viel Nützliches bei, und ein bisschen Flexen gehört zum Game.

Aber mal ehrlich.

• Mit diesem Trick macht die KI keine Fails mehr
• Damit zwingst Du Claude immer die Wahrheit zu sagen
• Nur 0,000000001% der Menschen nutzen diesen Wahrsager-Hack

Wie können die sowas claimen, wo doch ich ganz allein die Lösung hab, wie man mit KI-Fails umgeht. Und für mich persönlich hab ich die tatsächlich. Nicht als das eine Gesetz für alles, der eine Cheat-Code, der immer zieht. Den gibt’s nämlich nicht. Das haben Google, OpenAI und Anthropic nicht einfach nur schlampig implementiert. Und das schafft auch keiner mit ‘nem Hack. KI-Fails sind schlicht fundamental unvermeidbar. Gilt für Mitmenschen und alle anderen Mit-Intelligenzen, also Tiere, KIs und sonstige Aliens.

Wenn Vermeiden nicht geht, dann halt eben bestmöglich damit umgehen. Und da gibt’s Prinzipien und Methoden, die dem Kern des Problems gerecht werden. Zumindest gerechter als irgendein One-Click-Wunder, das genauso gut läuft wie jedes andere Perpetuum Mobile. Ich will dem Kollegen, der ziemlich erfolgreiche und gute Videos macht, nix Böses, aber er verkauft ein Medikament, ohne die Krankheit zu erklären. Das Problem: Es wirkt sogar, ist deswegen aber nicht safe. Es macht abhängig, weil es dich unaufgeklärt lässt. Beipackzettel? Komplett gone.

Das Versprechen, dass irgendwas unfehlbar und immer gegen alle Fails hilft, ist Quacksalberei 2.0.

Aber vor allem wiegt es dich in fake Safety, gerade weil es ja auch funktioniert und logisch klingt und einen riesigen Kern Wahrheit hat.

Ich erklär’s an einem konkreten Beispiel. Besagter Youtuber geht steil auf ein skill-basiertes System, das Claude dazu bringt, die Antwort von 10 – in Worten zehn – Agenten nochmal durch den Fleischwolf zu drehen. Ein Agent denkt die Frage neu, einer probiert’s in nem anderen Kontext. Einer spielt Devil’s Advocate. Noch einer verifiziert oder falsifiziert die Aussagen. Einer negiert die Frage und will das Gegenteil, und noch mehr Moves. Und wenn die 10 Agenten durch sind, ist die Antwort fehlerfrei. So zumindest der Claim.

Aber das Gegenteil von gut ist eben doch gut gemeint. Und alle 10 Agenten sind für sich auch legit und haben ihren fairen Platz im Fight gegen KI-Fails. Man darf und kann und soll sie sogar kombinieren. Aber alles in einen Mixer kippen, kräftig durchmischen und das als die Lösung gegen Fails verkaufen ist unlauter – und für sich gesehen ironischerweise ein systematischer Fail.

Hier meine Begründung, warum ich gegen diese Art All-In-One bin.

1. Es ist nicht wirtschaftlich. Ich bin kein Fan davon, auf Token-Sparsamkeit rumzureiten. Nicht weil ich gern Geld zum Fenster rauswerfe, aber Sparen muss dabei später kommen. Beim Autofahren-Lernen – wo alles zusammenkommt: Verkehrsregeln, ungewohnte Bewegungen, situative Höchstleistung – bringt’s ja auch nix, gleich in den ersten Fahrstunden Spritsparen einzubauen und darüber den Blinker oder Schulterblick zu vergessen. Das darf später Thema sein, wenn du fahren kannst. Also echt mein schwächstes Argument gegen den 10-Agenten-Fail-Terminator. Aber 10 Agenten auf jedes Popel-Problemchen loszulassen ist einfach drüber.
2. Es wiegt dich in fake Safety. Indem es so tut, als wär’s die easy und unfehlbare Lösung – ist es aber nicht! – führt’s dazu, dass du die Sorgfaltspflicht und die Prüfung schleifen lässt. Risikoüberkompensation. Damit landet das Gesamtsystem unter Umständen sogar auf höherem Risikolevel, weil die letzte Prüfinstanz einfach weggelassen wird oder viel zu dünn ausfällt.
3. Es ist falsch. Das alles entscheidende, unbestreitbare Totschlagargument. Es kann überhaupt gar nicht alle Fails vermeiden. Geht nicht. Alle sowieso nicht und auf diese Weise dreimal nicht. Weil die Agenten korreliert sind, also nicht independent – same Bauart, Brudi. Zehn Artikel vom gleichen Enthüllungsjournalisten in verschiedenen Medien machen seine Story auch nicht wahrer. Sich selbst checken ist besser als gar nicht checken, aber mit Sicherheit – also echter wissenschaftlicher Garantie – kein fehlerfreies System. Und das ist mein echtes Problem damit. Es systematisiert diesen Fail und verkauft das Ergebnis als fehlerfrei. Etikettenschwindel ist noch das Harmloseste, was mir dazu einfällt.

Aber genug gemeckert über das, was andere nicht perfekt machen. Eigentlich geht’s ja darum, ein möglichst fehlerfreies Gesamtsystem zu bauen, wenn schon die einzelne LLM das nicht kann. Ein System, in dem die KI ihren wertvollen Teil beisteuert.

Und was ist jetzt mein ach so krasses System, das alles besser macht? Wieso taugt meine Methode mehr, und wo und wie kann man das selbst checken, Mr. Oberschlau? Herr Neunmalklug, Ihr Auftritt bitte.

Gerne.

Step 1: Hintergrundverständnis Hab ich in meinem letzten Post hoffentlich aufgebaut. Gern mal lesen, falls noch nicht passiert, oder einfach unbesehen glauben. Ein lernendes Etwas – egal ob Mensch, Tier oder Maschine – muss Fails machen, sonst wär’s unfähig zu lernen. Also Fails komplett, für immer und überall zu löschen ist ne Sackgasse. Fakt und abgehakt.

Step 2: Analogien finden KI kann lernen und macht Fails. Mit lernfähigen und fehleranfälligen Menschenwesen können wir aber schon super umgehen. Das haben wir an uns selbst lang genug getrained und optimiert.

Nur mal ein kleiner Auszug aus dem, was wir an Pfeilen im Köcher haben. Alles real und konkret im Einsatz. Und es gibt noch viel mehr:

[Dieser Absatz ist AI generiert - Anfang]

Poka-Yoke, Rubber Duck, Totmannschalter, Vier-Augen-Prinzip, Canary, Shisa Kanko, Swiss Cheese, Pre-Flight-Check, Andon-Reißleine, Smoke Test, Red Team, Formschluss, Checkliste, Fail Fast, Read-back, Interlock, Dry Run, Kill Switch, Plausi-Check, Pair Programming, Sterile Cockpit, Watchdog, Über-Nacht-Regel, Prüfziffer, Devil’s Advocate, Rollback, Point-and-Call, Zweihand-Auslösung, Pre-Mortem, Stichprobe, Jidoka, Gegenzeichnung, Chaos Engineering, Überschlagsrechnung, Buddy-System, Forcing Function, Kassensturz, Guardrails, Generalprobe, Two-Man Rule, Quersumme, Sicherheitsmarge, Heartbeat, Regressionstest, Gurt und Hosenträger, Dual Control, Sanity Check, 5-Why, Stage-Gate, Rückwärtsrechnen, Circuit Breaker, Cooling-off, Crew Resource Management, Backup, Fishbone, Tripwire, A/B-Test, Redundanz, Checksumme, FMEA, Near-Miss-Meldung, Safe Defaults, Reconciliation, Blameless Postmortem, Drift-Erkennung, Sign-off, Defense in Depth, Speak-up-Kultur, Graceful Degradation, Just Culture, Feature Flag, Sichtprüfung, Fail Safe, Debriefing, Undo, Inventur, Grenzwert-Alarm, TÜV

[Dieser Absatz ist AI generiert - Ende]

Step 3: Vereinfachen und übertragen Lass uns das, was wir Menschen gegen Fails erarbeitet haben, auf die KI übertragen und dabei die paar menschen-untypischen KI-Eigenheiten extra anschauen. Wir müssen jetzt nicht jedes einzelne Verfahren auf KI-Tauglichkeit checken. Aber die Grundprinzipien hinter der langen Liste lassen sich auf wenige eindampfen – entlang von drei Fragen:

• Wie verhindere ich Fails?
  • Fail unmöglich machen (Poka-Yoke): wenn möglich natürlich der stärkste Hebel – den Fail nicht abfangen, sondern baulich ausschließen. Der Stecker, der nur in eine Richtung passt.
  • Vereinfachung: Wenn’s einfacher geht, mach’s einfacher. Jedes überflüssige Teil ist ne zusätzliche Fehlerquelle – Standards und Automatisierung räumen auf.
• Wie erkenne ich Fails?
  • Redundanz: Dieselbe Frage in unabhängigen Kontexten stellen. Machen mehrere unabhängige Wege denselben Fail, ist er unwahrscheinlich – machen sie verschiedene, fällt er auf.
  • Verifikation: Überprüfbarkeit von Anfang an einbauen, nicht hinterher hoffen. Was sich nicht checken lässt, lässt sich auch nicht fixen.
  • Früh und klein scheitern: Kleine Steps, schnelles Feedback. Derselbe Fail ist nach ner Stunde ne Korrektur, nach drei Monaten ne Katastrophe.
  • Kompetenz: Der Mensch behält die Verantwortung – und damit die Fähigkeit, Fails überhaupt zu erkennen. Wer nur noch abnickt, verlernt das Prüfen; Kontrollmüdigkeit trifft Experten wie Laien.
• Wie überlebe ich Fails bzw. wie geh ich damit um?
  • Schadensbegrenzung: Wenn der Fail trotzdem passiert: Wirkung klein halten und rückgängig machen können. Isolation begrenzt den Schaden im Raum, Reversibilität in der Zeit – ein umkehrbarer Fail ist ein Lernmoment, ein unumkehrbarer ein Schaden.
  • Fehlerkultur: Fails offen behandeln statt sanktionieren. Wer Fails versteckt, verhindert nicht den Fail – nur das Lernen daraus.

Und ein Teil davon lässt sich direkt im täglichen Prompten anwenden. Easy, konkret, wirksam.

Vereinfachung – Schneide den Elefanten in Scheiben Die KI ist Generalist und kann alles ziemlich gut, aber nicht gut alles auf einmal. Die Lösung ist so nah. Die KI ist nämlich auch Spezialist, wenn man ihr nur sagt, sie soll einer sein – und plötzlich hast du ein Team an Spezialisten, das du „nur” noch orchestrieren musst. Also statt alles in einen Riesen-Prompt zu packen, in kleine optimierbare Pakete schnüren. Ein bisschen „Was, wenn ich das eine komplette Firma machen lassen würde?”. Am konkreten Beispiel meines Redaktionsprozesses erklärt. Ich schreibe und veröffentliche mehr oder weniger regelmäßig diesen Substack-Newsletter, den du gerade liest. Und ja, ich schreibe alles selbst, es sind meine Worte und Sätze. Aber KI hilft mir natürlich. Einmal in der Recherche. Ich hab ne Idee oder nen Gedanken, den ich ausbauen will. Da sammle ich Info und bündle die. Manchmal so sehr, dass ich ne eigene Webseite baue – ein Nebeneffekt im Newsletterprozess. Dann schreib ich runter. Einfach so, mit schrecklich vielen Typos, echten Lücken und Drehern. Die reinen Typos macht mein KI-Cleaner – nur echte Fails, und er ist der Einzige, der direkt im Text ändern darf. Erst dann hab ich den Mut, es meinem KI-Coach zu geben. Der ändert nix, gibt aber seine Kommentare. Trägt die Story? Macht sie übergreifend Sinn? Was ist zu lang oder zu verworren? Wo reißt der nie vorhandene rote Faden? Was ist besonders gut und was eher Schund. Er gibt Tipps, die ich einbauen kann, aber nicht muss. Kann ein paar Iterationen dauern, hilft aber auf jeden Fall, die Gedanken zu sortieren. Und wenn ich damit fertig bin, geht’s zum KI-Lektor. Neue Typos sind da nur Nebensache, aber er prüft Lesbarkeit, Korrektheit, Stil, Ton, Struktur usw. Auch hier Tipps, aber eher ne Liste zum Abarbeiten, weil’s halt echte Fails oder Stolperer sind. Und dann geht’s zum KI-Closer. Der macht’s Substack ready. Mechanisch. Und wenn ich das jetzt so lese, denk ich: cool. Das muss ja laufen wie am Schnürchen und nur geniale perfekte Newsletter raushauen. Tut es nicht. Aber das, was an Fails und Wirrungen und Falschaussagen im Endergebnis bleibt, ist Stil.

Vereinfachung – Mach’s immer gleich, wo’s geht Standards helfen. Dumb it down. Lässt sich auch super aufs Team übertragen. Ein Fail, den alle machen, ist besser, weil er leichter erkannt und nachhaltiger gelöst wird. Aber vor allem verhindert der Standard die Fails durch Nachlässigkeit oder Unaufmerksamkeit. Wo’s geht, soll die Qualität nicht an der Person oder KI hängen, die’s macht. Nutz ein Schema, nutz ne Methode. Definier Qualitätsstandards. Im Output oder im Prompt. Mein Standard ist ein Prompt-Pattern und eine Methode der Prompt-Generierung.

Redundanz Das Gleiche nochmal machen, nur anders und vor allem woanders. Drei parallele Chatfenster sind fast schon Standard bei mir. In einem bereite ich vor. Bring die Daten auf Vordermann, recherchiere und kläre und optimiere, was ich eigentlich will. Im zweiten mach ich das Gleiche nochmal mit ner anderen KI, oder nehm die Ergebnisse aus Chat 1 nochmal auseinander – unter der Prämisse, dass alles daran falsch ist: Teufels Advokat, Red Team, Steelman. Falls nötig, weil zu lang oder komplex, lass ich im dritten Fenster das Delta der beiden Chatfenster ermitteln, analysieren und bewerten.

Verifikation Idealerweise gibst du der KI nur Aufgaben, die du auch möglichst easy verifizieren kannst. Also testen und prüfen sollte billiger sein, als es von Anfang an selbst zu machen. Also Ergebnisse nachrechnen. Stichproben bei Quellenangaben. Startet das Programm ohne Fehler. Läuft die Kernfunktion.

Kompetenz Wer gut aufgepasst hat: Meine Redundanz- und Verifikations-Beispiele sind die langweilige und vermeintlich schlechtere Version von unserem 10-Agenten-1-Click-Magic von oben. Der Unterschied – ich bleib als Kompetenz dazwischen. Ich kann jeden Step kontrollieren und optimieren. Ich kann auch fallweise und beliebig automatisieren. Und ich kann unterschiedliche Daten oder LLMs nutzen. Die Prüfung holistisch oder stichprobenhaft machen. Der entscheidende Punkt: Ich verantworte alle korrekten und guten Outputs der KI, aber auch all ihre Fails. Daher steuer ich aus, wie und wo und wie viel. Und das hält mich nebenbei kompetent und ready für die nächste Aufgabe, die ich mit KI optimieren will.

Die Übertragung von Poka-Yoke, Schadensbegrenzung und Fehlerkultur ist weniger direkt möglich, auch wenn sie ein großer Hebel wär. Vielleicht findest du ja einen cleveren Poka-Yoke-Kniff oder schaffst es, ne KI-Fehlerkultur zu etablieren. Ich wär an deinen Ideen sehr interessiert.

Ein paar konkrete und KI-spezifische Fail-Vermeider hab ich aber noch. Also die KI-Schwachstellen kennend:

• Ein Chat kann burned sein. Die KI halluziniert, dreht sich im Kreis, widerspricht sich, obwohl sie am Anfang noch ganz vernünftig war. Klarer Fall: Context distraction … nicht weitermachen und hoffen, es wird besser oder du kriegst die KI noch überzeugt. Retten, was zu retten ist – also ne Zusammenfassung des Chats geben lassen und damit frisch in nem unverbrauchten Fenster starten. Und das Beste: Das geht auch proaktiv. Ab einer gewissen Dauer oder Länge im Chat einfach zusammenfassen lassen und im nächsten weitermachen. Spart Frust.
• Bei einem Thema bleiben. Ich schweif gern ab, und ein Gedanke bringt manchmal nen neuen in komplett anderem Kontext. Also warum nicht einfach weiterchatten? Die KI antwortet doch brav und zieht mit. Trügerische Falle. Also: Neuer Gedanke oder neues Thema heißt neues Fenster.
• Ein bisschen Funkdisziplin. Einerseits bin ich großer Verfechter davon, die eigene Sprache und Denke nicht der KI anzupassen und lieber mehr Info mitzugeben, als man selbst für nötig hält. Der KI auch von Anfang an mehr zutrauen, als man von nem Rechenknecht erwartet. Aber ins Schwafeln sollte man auch nicht geraten.

Das Ziel ist nicht die fehlerfreie Maschine. Das Ziel ist ein System, das die richtigen Fails macht, aus ihnen lernt und die falschen daran hindert, sich fortzupflanzen und zu systematischen Fails zu werden.

In eigener Sache: Ich schreibe meine Posts selbst mit den Worten aus meinem Kopf. KI hilft mir in der Recherche, als Berater und bei der technischen Korrektur. Aber der Post ist aus mir, von mir als Mensch. Die Bilder sind alle KI-generiert, und meine Webseite erstell und pfleg ich mit Claude – auch zum großen Teil inhaltlich. Bei meinem Newsletter werd ich im Rahmen der Transparenz-Kampagne die wenigen Textabschnitte (meist Aufzählungen oder Tiraden des Witzes wegen) deutlich als KI-generiert kennzeichnen – auch rückwirkend. Heißt: Was nicht gekennzeichnet ist, ist von mir. Isch fei so. Schwöre.

Ganz fehlerfrei geht nicht. Auch nicht bei großen, fehlerminimierenden Systemen. Soll nicht sarkastisch klingen, aber wenn’s das gäbe, würden wir’s doch längst einsetzen – gegen Flugzeugabstürze, vergessene Wattebäusche in der Bauch-OP, den AKW-Super-GAU. Und nein, das ist mit Faktor Mensch nicht abgetan und wird mit Faktor KI auch nicht prinzipiell verschwinden. Fails gehören dazu. Seltener, weniger drastisch in den Auswirkungen, kontrollierbar, wenn’s passiert – das sind die wahren Ziele. Die sind erreichbar.

Null Fails kann man anstreben, klar. Verkauft sich auch besser als „Wir streben nur noch einen katastrophalen Flugzeugabsturz pro Jahr an”. Jeder will Null, für immer. Aber Wollen genügt nicht. Wir haben uns schon immens verbessert: von bis zu 100 Abstürzen pro Jahr auf ne Handvoll, und das bei massiv gestiegenem Verkehrsaufkommen. Vielleicht schaffen wir einen Absturz alle zwei Jahre. Alle zehn. Es geht nicht um die Zahlen – und doch auch. Denn ab nem gewissen Punkt ist die nächste Verbesserung nicht mehr sinnvoll – im wirtschaftlichen Sinn – möglich.

Und jetzt der unbequeme Teil. Ich will nicht gegen Airlines ranten. Aber all die Sicherheitsvorkehrungen gibt’s nicht, weil im Vorstand nur moralisch ausgeglichene Menschenfreunde sitzen. Eine Hauptmotivation: Ein Nachrichtenbeitrag zur besten Sendezeit, der das eigene Firmenlogo am Heck eines brennenden Wracks zeigt, will kein Entscheider sehen. Das hat super direkte Auswirkungen auf die Jahresbilanz und den nächsten Bonus. Klar, Leben schützen ist gut und lässt sich prima verkaufen. Win-Win. Aber die Sicherheit der Luftfahrt ist kein Zufall und keine Tugend – sie ist auch ne Eigenschaft des Mediensystems. Ein Absturz tötet viele Menschen auf einen Schlag, an einem Ort, mit einem Logo am Heck. Das ist ne Woche echte Anti-Werbung für die Firma.

Der sauberste Beweis dafür fliegt übrigens direkt neben den Airlines her: die Kleinfliegerei. Gleiche Aerodynamik und Physik, gleiche Atmosphäre, gleiches Land, dieselbe Aufsichtsbehörde, teilweise dieselben Flugplätze. Aber pro Flugstunde ist die Privatfliegerei um ein Zigfaches gefährlicher als der Linienflug – risikomäßig näher am Motorrad als am A320. Und das hat sich in 40 Jahren nur marginal verbessert, zumindest im Vergleich zur Verkehrsluftfahrt, die stetig und rasant sicherer wurde. Woran liegt’s? Nicht an fehlendem Wissen. Die Methoden – Checklisten-Disziplin, verpflichtende Trainings, systematische Fehlerauswertung – sind bekannt und wären übertragbar. Sie werden nur nicht angewendet. Denn ne abgestürzte Cessna mit zwei Toten ist ne Regionalmeldung, kein Brennpunkt. Kein Logo am Heck, kein Konzern, der zittert, kein Druck. Alles gleich – außer der Sichtbarkeit. Und das Ergebnis unterscheidet sich um zwei Größenordnungen.

Oder nimm die Medizin. Vermeidbare Behandlungsfehler in deutschen Krankenhäusern kosten – je nach Schätzung, die Zahlen sind umstritten – jedes Jahr ein Vielfaches aller Verkehrstoten das Leben. Für jeden Flugzeugabsturz gibt’s ne verpflichtende, unabhängige Untersuchung. Für den vergessenen Wattebausch gibt’s: nix Vergleichbares. Gleiche menschliche Gesellschaft, gleicher Wert eines Menschenlebens, komplett anderes Sichtbarkeits-Regime. Rate mal, wo mehr Menschen sterben. Und mit an Flugsicherheit grenzender Wahrscheinlichkeit könnte man hier menschenrettende Verbesserungen erzielen.

Fails gehören dazu. Sie zu vermeiden ist wichtig und richtig. Sie ausmerzen zu wollen oder mantra-mäßig kategorisch auszuschließen ist utopisch – und wer dir Null verspricht, verkauft dir Marketing, kein System. Das ist die wissenschaftliche Wahrheit. Aber hinter Fails steckt auch ne menschliche oder unmenschliche Ökonomie. Die macht im Zweifel nicht mal vor dem Leben halt.

Ich hab mich bei meiner Recherche in das Prinzip verliebt, das Fail-Vertuschen zu bestrafen, und nicht das Fail-Machen. Das hört sich so gut an, dass es klappen könnte. Zumindest scheint das das richtige Mindset zu sein, und das wird bei den Airlines auch gelebt.