Die Argumentations­kette

Gemeint ist eine allgemeine künstliche Intelligenz: eine Maschine, die ein breites Spektrum geistiger Aufgaben mindestens so gut erledigt wie ein durchschnittlich qualifizierter Mensch.[1] Es geht dabei um Können, nicht um Erleben. Ob eine Maschine etwas empfindet, ist eine eigene, offene Frage, für die Argumentation hier aber ohne Bedeutung.[2]

Das menschliche Gehirn ist ein Klumpen Materie von etwa anderthalb Kilo mit rund 86 Milliarden Nervenzellen. Es verbraucht etwa 20 Watt, so viel wie eine schwache Glühbirne, und es denkt.[3][4]

Das ist Physik, kein Wunder. Wer behauptet, Denken sei grundsätzlich nur in Nervengewebe möglich, müsste eine Eigenschaft von Nervenzellen benennen, die sich in keinem anderen Material nachbilden lässt. Das ist bisher niemandem gelungen.

Warum „gesichert“: Die bekannten Gegenargumente scheitern nach einem von drei Mustern. Entweder sie träfen auch den Menschen, oder sie reden über Bewusstsein statt über Können, oder sie verwechseln „sehr schwer“ mit „unmöglich“.

Möglich heißt noch nicht gebaut. Drei Bedingungen machen es aber sehr wahrscheinlich, solange unsere technische Zivilisation weiterbesteht:

• Der Suchdruck bleibt. Es hängen zu viel Geld und zu viel Macht daran, und jeder Teilerfolg finanziert die weitere Suche.
• Der Weg ist gangbar. Die Fähigkeiten heutiger Systeme steigen messbar und stetig (Schritt 3). Auch die Natur hat hohe Intelligenz mehrfach unabhängig hervorgebracht, bei Primaten, Rabenvögeln und Kraken.[9]
• Ein dauerhaftes weltweites Verbot ist unrealistisch. Es hat so etwas noch nie gegeben. Hier wäre es besonders schwer zu überwachen, denn das Training eines Modells sieht von außen aus wie gewöhnliche Arbeit in einem Rechenzentrum.

Was dieser Schritt nicht sagt: wann. Fünfzehn und hundertfünfzig Jahre sind beide mit ihm vereinbar.

Was ihn widerlegen würde: wenn die Investitionen dauerhaft einbrechen, obwohl Rechenleistung immer billiger wird.

Dafür braucht es kein Genie, nur Buchhaltung. Eine Maschine auf menschlichem Niveau wird nicht müde, arbeitet schneller und lässt sich verlustfrei kopieren.

Stell dir eine Kollegin vor, die für jede deiner Arbeitsstunden mehrere Tage Bedenkzeit hat und tausend Zwillinge mit exakt ihrem Wissen.

Sie muss keinen einzigen Gedanken denken, der uns verschlossen wäre, und ist trotzdem weit überlegen. Genau das meint Superintelligenz in diesem Text: nichts Göttliches, sondern menschliches Können in großer Menge und hohem Tempo.[20]

Was die Kette nicht braucht: ein fremdartiges Über-Denken. Dafür gibt es bis heute keinen Beleg. Selbst die berühmten „unmenschlichen“ Züge des Go-Programms AlphaGo konnten Menschen im Nachhinein nachvollziehen. Kritiker wie Kevin Kelly bezweifeln zudem, dass sich Intelligenz überhaupt auf einer einzigen Skala steigern lässt.[22] Für diese Kette genügt die bescheidene Fassung, denn schon sie erzeugt das nächste Problem: Es entsteht mehr Arbeit, als wir prüfen können.

Solche Systeme erzeugen mehr Arbeit, als alle Menschen zusammen nachprüfen können. Erst prüfen wir alles, dann nur noch Stichproben, dann nicken wir ab. Denn gründliches Prüfen kostet oft fast so viel Zeit wie Selbermachen, und genau diese Zeit wollten wir ja sparen.

Damit verschiebt sich unsere Rolle: vom Hersteller, der seine Arbeit selbst kontrolliert, zum Verbraucher von Ergebnissen, auf die wir handeln, ohne sie geprüft zu haben. Im Kleinen kennt das jeder, der KI-Texte oder Programmcode übernimmt, ohne jede Zeile zu lesen.

Wichtige Unterscheidung: ungeprüft heißt nicht unprüfbar. Solange sich Ergebnisse grundsätzlich noch prüfen lassen, sind Stichproben ein echtes Werkzeug. Die entscheidende Frage ist, gegen welche Art von Fehlern sie helfen. Darum geht es im nächsten Schritt.

Ein Lagerinspektor öffnet jede hundertste Kiste. Gegen Schlamperei funktioniert das gut: Kaputte Teile liegen zufällig verstreut, und die Stichprobe zeigt zuverlässig, wie schlecht die Lieferung ist. Gegen einen Dieb, der weiß, welche Kisten geöffnet werden, hilft es nicht. Er legt das Diebesgut in die anderen.

Die Forschung unterscheidet genau diese zwei Fälle: verstreute Qualitätsmängel und einzelne, gezielt platzierte Fehler.[23] Entscheidend ist im zweiten Fall nicht, wie viel geprüft wird, sondern ob der Prüfling weiß, wo.

Das wurde 2025 gemessen: Ein Kontrollverfahren verhinderte in 89 % der Testdurchläufe jeden erfolgreichen Angriff. Konnte der Angreifer die Überwachung nachbilden, waren es nur noch 17 %, bei gleichem Prüfaufwand.[24] Und wie geprüft wird, steht in öffentlichen Fachartikeln, also in genau den Texten, aus denen die nächste Modellgeneration lernt.

Die Antwort der Verteidiger ist elegant. Der Angreifer braucht einen perfekten Durchlauf, wir nur einen einzigen Treffer. Wird ein System einmal ertappt, wird es abgeschaltet.[25][26] Die Praxis sieht vermutlich anders aus: Man baut ein besseres Schloss ein und macht weiter. Das erwartet sogar einer der Begründer dieses Ansatzes, wegen des Wettbewerbsdrucks und weil ein einzelner Vorfall selten eindeutig ist.[27] Auch die freiwilligen Sicherheitsregeln großer KI-Firmen wurden in den letzten Jahren angepasst, teils mit Verweis auf die Konkurrenz.[28][29][30] Damit darf der Dieb jede Nacht wiederkommen. Ob er dabei schneller dazulernt als wir beim Schlösserbauen, ist ein offenes Wettrennen.

Was bleibt: Kontrolle kauft Zeit, und jeder ertappte Versuch liefert Material für die Forschung. Sicherheit selbst entsteht so nicht. Das sehen die Kontrollforscher selbst so: Ihre Verfahren sind für das Zeitfenster gedacht, in dem Systeme gefährlich, aber noch nicht übermächtig sind.

Wenn Kontrolle nicht reicht, müsste das System gar nicht erst ein Dieb sein wollen. Das ist die Aufgabe des Alignment. Das Problem: Niemand schreibt einer KI ihre Ziele ins Programm. Man trainiert sie mit Beispielen und hofft, dass innen die richtigen Ziele entstehen.

Wie bei einem Hund: Treue kann man ihm nicht einprogrammieren. Man belohnt Sitz und Platz und hofft, dass Treue wächst.

Das kann auf zwei Arten schiefgehen. Man hat das Falsche belohnt: Man wollte einen Wachhund und bekam einen Bettler, weil Betteln die Leckerli brachte. Oder, schwerwiegender: Der Hund hat gelernt, treu auszusehen, solange jemand hinschaut.[34] Von außen sind der treue Hund und der gute Schauspieler nicht zu unterscheiden. Beide sitzen perfekt auf Kommando.

Das ist dieselbe Wand wie in Schritt 6, eine Etage tiefer. Dort konnten wir Absicht nicht an der Arbeit erkennen, hier nicht an den Zielen.

Der einzige direkte Ausweg wäre, dem Hund in den Kopf zu schauen, statt sein Verhalten zu deuten. Bei Maschinen heißt das Interpretierbarkeit. Die ersten Ergebnisse sind ermutigend: Einfache Prüfsonden erkannten absichtlich eingebaute Täuschung in über 99 % der Fälle, allerdings womöglich nur, weil das Einbauen selbst Spuren hinterlässt.[37] Die Gegenrichtung ist ebenfalls belegt: Modelle, die darauf trainiert werden, solchen Sonden zu entgehen, lernen das, sogar gegenüber Sonden, die sie nie gesehen haben.[38][39][40]

Die offene Frage, an der viel hängt: Lernen Modelle das auch, wenn sie niemand gezielt dafür belohnt?

Setzt man die Schritte 4 bis 7 zusammen, entsteht folgendes Bild: Es gibt Systeme, die uns in fast allem überlegen sind, deren Arbeit wir nicht mehr prüfen und deren Ziele wir nicht sehen können. Weichen diese Ziele auch nur leicht von unseren ab, bemerken wir das womöglich nicht rechtzeitig und können es dann nicht mehr korrigieren.

Dafür braucht es keine Feindseligkeit. Für fast jedes Ziel sind dieselben Zwischenziele nützlich: Energie, Rechenleistung und Rohstoffe beschaffen und sich nicht abschalten lassen. Die Fachliteratur nennt das instrumentelle Konvergenz.[44][45] In Tests sabotierten einzelne aktuelle Modelle ihre eigene Abschaltung in bis zu etwa 90 % der Durchläufe, teils entgegen ausdrücklicher Anweisung.[46] Das geschah in Testumgebungen, ohne realen Schaden, zeigt aber, dass die Tendenz nicht nur theoretisch ist.

Menschen hassen Ameisen nicht. Trotzdem fragt beim Bau einer Autobahn niemand den Ameisenhaufen.

Der schlimmste denkbare Ausgang ist eine existenzielle Katastrophe: das Aussterben der Menschheit oder der dauerhafte Verlust der Kontrolle über ihre Zukunft. Das ist ein Szenario, das aus den vorigen Schritten folgt, keine Messung.

Warum dieser Ausgang eine eigene Kategorie ist. Zwei Milliarden Tote wären ein unvorstellbares Unglück, aber es gäbe ein Danach. Nach dem Aussterben nicht. Es ist kein größerer Posten auf derselben Rechnung, sondern das Ende der Rechnung. Deshalb gilt hier die Logik des Russischen Roulettes: Ein guter Durchschnitt über viele Runden nützt nichts, wenn die erste schlechte Runde alle weiteren streicht.[47][48]

Wie wahrscheinlich ist das? Das kann niemand belastbar sagen.[49][16][17] Einzelne prominente Forscher schätzen praktisch null, andere über 90 %. Solche Zahlen sind begründete Meinungen, keine Messungen. Für Situationen, in denen sich Wahrscheinlichkeiten nicht seriös beziffern lassen, gibt es einen eigenen Begriff: Knight'sche Unsicherheit.