KI-News: Es ist fünf vor zwölf und wir stellen die Uhr eine Stunde vor

Was unterscheidet mich von den Aluhut tragenden, verschwurbelten Endzeitpropheten, wenn ich sage, die KI werde die Menschheit vernichten?
Ganz einfach: Ich habe recht! Und ich kann es beweisen. Oder zumindest plausibel darlegen.

So hatte ich diesen Newsletter vor ein paar Monaten angefangen. Dann aber das Schreiben verschoben, andere Themen gefunden, mit Freunden darüber diskutiert und nochmal reflektiert.

Und plötzlich ist es salonfähig und ganz normal, in öffentlich-rechtlichen Medien und der Tagesschau über die Auslöschung der gesamten Menschheit zu philosophieren. Wissenschaftler und KI-Magnate und Techies – manche davon auch schon von der nerdigen Art, aber alle ohne erkennbare Anzeichen von Verschwörungsdenken – lassen sich zu dem Thema aus.

Dann wird es höchste Eisenbahn, meine kleine treue Leserschaft mit einer nahezu hieb- und stichfest zusammengetragenen Beweiskette endgültig zu verscheuchen. Ohne Panik und ohne Ironie. Aber urteile selbst.

Einschub
Dies ist ein langer Newsletter mit viel Lesestoff. Ich habe die Argumentationskette von der klugen KI zum Weltuntergang auch als KI-generiertes Video oder als Webseite, sachlich und mit allen Quellen, parat. Die Webseite ist auch Grundlage dieses Textes und zugleich sein Quellennachweis. Deshalb verzichte ich hier auf Einzelbelege.

Wir starten mit der Kernaussage.

Wenn Maschinen so klug werden wie Menschen, werden sie sehr schnell klüger als wir, und dann haben wir kein zuverlässiges Mittel mehr, sie zu überprüfen oder zu kontrollieren. Im schlimmsten Fall endet das mit dem Aussterben der Menschheit.

Das ist keine gesicherte, unumstößliche, unvermeidbare Wahrheit, aber es ist ernsthaft möglich. Die absolute Größenordnung der Wahrscheinlichkeit dafür ist dabei zweitrangig. Es geht eher um die beinahe kausale Kette, die vielleicht morgen schon in Gang gesetzt wird.

„KI macht Menschheit vielleicht von sich aus tot, wenn wir so weitermachen“ ist natürlich starker Tobak, also gehen wir es Schritt für Schritt durch, damit das nicht nur als schön auswendig nachgeplapperte oberflächliche Wichtigtuerei rüberkommt.

1. Es ist möglich, eine Maschine zu bauen, die so klug ist wie wir
   Man spricht von Artificial General Intelligence (AGI), wenn die KI prinzipiell so klug und fähig wie ein Mensch ist. Auf dem technischen Niveau sind wir noch nicht, aber doch knapp davor. KI überragt den Menschen schon an vielen Stellen, aber ich kann heute entscheiden, Geige spielen zu lernen, mich an Chinesisch zu versuchen und Psychologie zu studieren. Diese intellektuelle Freiheit und Kapazität hat die KI noch nicht – zumindest nicht, dass es öffentlich bekannt wäre.

   Es gibt die These, dass eine KI das auch nie auf menschlichem Niveau können werde. Alles beliebige Neue lernen zu können sei uns Menschen ganz alleine mit unseren Gefühlen und dem Bewusstsein vorbehalten.

   Oder die KI-Sprachmodelle (LLMs) seien doch nur bessere Type-Ahead-Textergänzungsmaschinen, die sich clever durchraten, sodass es bloß den Anschein von Intelligenz habe.

   Darum geht es hier aber überhaupt nicht. Bewusstsein ist komplett irrelevant. Und ob wir mit LLMs der heutigen Bauart eine AGI erreichen können, ist für die Frage der technischen Machbarkeit egal.
   Denn eines ist klar: Intelligenz ist physikalisch möglich. Das beweist der Mensch mit dem Fleischklumpen und dessen Milliarden Nervenzellen auf dem Hals. Da tut Intellenz drinne sein, und das mit einem geringen Energieverbrauch, vergleichbar mit einer 20-Watt-Glühbirne.
   Es braucht nichts Mystisches oder Unerklärliches, keine göttliche Zutat für Intelligenz. Zumindest wurde bisher nichts gefunden. Und was die künstlichen neuronalen Netze heute schon leisten, spricht doch sehr dafür, dass das auch mit Silizium machbar ist. Eine KI kann prinzipiell intelligent sein. Die Unschärfe des Begriffs Intelligenz macht es nicht einfacher, das genau einzugrenzen. Aber bis jetzt wurde fast jede neu erfundene Hürde als Intelligenzbeweis auch schön regelmäßig von der Maschine genommen. Da ist nicht mehr viel übrig, auf das sich der Mensch mit seinem „Ich bin intelligenter als alle anderen Spezies“ zurückziehen kann.
   Die denkende Maschine ist möglich. Wer sie für unmöglich hält, bleibt den Beweis dafür bis heute schuldig.

2. Wenn AGI gebaut werden kann, wird sie auch gebaut
   Möglich heißt natürlich noch nicht, dass sie gebaut ist oder jemals gebaut wird. Aber es hängen zu viel Geld und zu viel Macht daran, als dass das Streben danach von selbst aufhören würde. Ein weltweites, dauerhaftes, kontrollierbares Verbot, weiter in Richtung AGI zu forschen, wäre eine Möglichkeit und auch der wirksamste und stärkste Hebel, die Kette früh zu unterbrechen. So ein weltweit koordiniertes Verbot bräuchte eine enorme Kraftanstrengung und viel Überzeugungsarbeit. Nicht unmöglich, nur halt außerordentlich schwer. Und selbst wenn man eine internationale Ächtung hinbekäme und sogar auf deren Einhaltung achtete und streng kontrollierte, hätten wir es immer noch nicht geschafft. Denn ein Trainingslauf, um eine neue KI zu züchten, unterscheidet sich von der Berechnung der Wettervorhersage oder dem Schürfen des nächsten Bitcoin-Blocks im Rechenzentrum von außen kaum. Wer ausschert, findet also leicht Wege, das ihm auferlegte Verbot zu umgehen.

3. Wann AGI gebaut wird, ist fast egal
   Das soll keine Beruhigung sein, aber es kann tatsächlich noch ’ne gute Weile dauern. Es spricht zwar sehr viel dafür, dass es eher schnell geht. Und es kann sogar unvorhergesehen rasant passieren. Aber es kann auch 10, 20 oder 50 Jahre dauern, bis wir den Durchbruch zur AGI haben. Für die Kette selbst ist das Wann zweitrangig, es bestimmt nur die Dringlichkeit. Wenn wir die Zeit nicht nutzen, um Gegenmaßnahmen zu ergreifen und nachhaltige Sicherheitsvorkehrungen zu treffen, ist die Dauer bis zur AGI nicht ausschlaggebend. Aber dafür müssen wir uns ja erstmal einig sein, dass überhaupt Gegenmaßnahmen nötig sind.

4. So gut wie wir heißt schon superintelligent
   Wenn wir die AGI haben, gibt es kein Halten mehr auf dem Weg zur Artificial Superintelligence (ASI). Das ist reine Buchhaltung. Eine Maschine auf menschlichem Niveau wird nie müde und arbeitet schneller und präziser. Und selbst wenn sie lediglich gleich gut wäre: Sie lässt sich beliebig klonen. Das heißt, wenn ich eine AGI habe, habe ich genauso einfach tausend AGIs quasi auf Knopfdruck, alle mit demselben Wissen und Können. Und damit noch nicht genug: Die sind auch sehr einfach miteinander vernetzbar ohne menschliche Kommunikationsbarrieren. Diese ASI muss dabei keinen einzigen Gedanken denken, der uns inhaltlich verschlossen wäre, und wäre uns trotzdem rein durch die schiere Skalierung haushoch überlegen. Wenn nicht sofort, dann doch mit der Zeit, denn neben den ganzen Tätigkeiten, die sie uns abnehmen kann und wird, kann sie auch prima eingesetzt werden, um sich selbst zu optimieren und die nächste Generation besserer, leistungsfähigerer, robusterer Maschinen zu bauen. Und weil es sich lohnt und schneller geht, gerne auch komplett autonom. Gut, es muss auch genug Energie da sein und die muss billig genug sein, aber das ist ein lösbares Kostenthema.

   Aber eine Arbeitsbiene auf menschlichem Niveau, die nie müde wird, sich nie beschwert, 24/7 schuftet und ohne Onboarding skaliert? Mein innerer Unternehmer sagt: Einmal AGI bitte, mit allem!

   Und das bedeutet dann schon Superintelligenz. Da ist nichts Göttliches dabei, keine übernatürliche Zutat. Reine quantitative und qualitative Übermacht, die sich selbst Runde für Runde immer schneller verbessert.

5. Wenn superintelligent, sind wir nur noch konsumierende Zaungäste
   Diese ASI und bereits die AGIs produzieren mehr, als alle Menschen zusammen prüfen und bestätigen können. Am Anfang können wir vielleicht noch gerade so mithalten, aber dann geben wir uns mit Stichproben zur Abnahme zufrieden und dann winken wir nur noch durch, weil es viel zu komplex und aufwändig für uns ist. Wir werden vom Hersteller zum reinen Verbraucher von Ergebnissen, deren Entstehung wir nicht mehr verstehen. Und ganz ehrlich: Das passiert heute ja schon im Kleinen. Meist aus Faulheit oder weil der Mehrwert eben sonst flöten geht, wenn man alles nachprüfen muss. Wir werden nicht mehr verstehen, welche neuen Features die AGI sich selbst gibt und was sie im Einzelnen bedeuten.

6. Sicherheit durch Kontrolle? Fehlanzeige!
   Kontrollen sind natürlich immer noch möglich, auch wenn man nicht alle Details versteht. Man kann das Ergebnis kontrollieren und auch, ob die Regeln eingehalten werden. Gegen zufällige Fehler oder natürliche Streuung oder Schlampigkeit sind auch Stichproben sinnvoll möglich und erfolgversprechend. Aber wenn das, was man kontrolliert, klug ist und weiß, dass es kontrolliert wird, wenn es sich ausmalen kann, wie kontrolliert wird oder welche Kontrollmechanismen prinzipiell eingesetzt werden, dann verlieren Kontrollen ihre Wirksamkeit. Das wurde experimentell bestätigt und auch schon in der Praxis unter Beweis gestellt.
   Aber nehmen wir doch mal an, wir kontrollieren engmaschiger und besser und erfolgreicher.

   Was machen wir denn, wenn wir die kluge KI beim Lügen, Betrügen und Tricksen erwischen? Den berühmten großen Stecker ziehen! Welchen Stecker?

   Den gibt es nämlich nicht. Das ist ja genau, worum es hier geht. Wenn wir da etwas gebastelt haben, das wiederholt und nachweislich nicht komplett verstanden wird und sich unseren Sicherheitsvorkehrungen immer wieder entzieht und schwer bis gar nicht kontrollierbar ist, dann wäre es angebracht, die Entwicklung hin zur AGI zu stoppen. Komplett und alle gemeinsam. Bis wir die Sicherheitslücken nachhaltig und an der Wurzel schließen können. Bis wir verstehen, wie wir das wirklich sicher machen können. Stattdessen wird der Sicherheitszaun ein wenig ausgebessert, die Kontrolle ein wenig optimiert und die nächste Version der KI mit ein paar anderen Einstellungen ausprobiert. Es wird weitergemacht mit der einen oder anderen kleinen freiwilligen Maßnahme, die uns maximal ein wenig Zeit erkauft. Zeit bringt aber nur was, wenn man sie auch konsequent nutzt, um nicht nur die aktuell von der KI entdeckte und ausgenutzte Lücke zu schließen. Sondern die Lücke von morgen auch und am besten gleich alle Lücken. Denn solange es Lücken gibt, wird die KI von morgen, die ähnlich klug und fähig ist wie wir, sie früher oder später finden und dann noch perfider ausnutzen und noch besser vertuschen. Eine seltsame Art von Wettlauf, den wir da gestartet haben.

   Entdecken und Flicken ist nicht genug. Entdecken und Stoppen wäre es. Passiert aber nicht.

7. Wir können KI nicht einfach lieb machen
   Alignment heißt, die Werte und Ziele der KI in Einklang mit den menschlichen zu bringen. Und das ist ebenso ein Problem. Eine KI ist zwar eine Maschine und letztlich Programmcode, aber halt nicht so eine klassisch programmierte Wenn-Dann-Maschine, bei der deterministisch klar ist, was passiert. Bei der immer B rauskommt, wenn man A reingibt. Und falls nicht, dann ist das ein Fehler, den man sauber mit einer Fehlermeldung abfangen und mit ein paar Zeilen Code fixen kann.
   KI wird trainiert. Mit Daten und mit Belohnungen in eine Richtung gelenkt. Das alleine ist ja schon ultrabefremdlich und schwer zu begreifen. Aber faktisch weiß niemand genau, was in einer KI vorgeht. Das hängt mit der Art zusammen, wie diese Intelligenz entsteht, und genau deshalb ist das alles so ungewohnt anders und neu und kontraintuitiv. Deswegen ist es – ganz computeruntypisch – manchmal unmöglich, sie genau diese eine Sache so machen zu lassen, wie man will. Das liegt in der Natur der KI und ihrer Bauart.
   Das ist ungefähr so wie mit einem Hund. Da hoffen wir, mit Leckerli und klaren Ansagen, mit Tätscheln und vielleicht auch der zusammengerollten Zeitung ein gutes Wesen reinzubringen. Klappt oft, aber eben nicht immer.
   Und wie wollen wir mit „Ja, fein gemacht“ und „Böse KI. Aus!“ und der Kontrolle und Auswahl des Datenfutters dafür sorgen, dass die KI uns nichts Böses will?
   Das weiß keiner. Es ist ja noch nicht mal klar, ob das überhaupt funktioniert. Denn auch wohlerzogene KI-Hündchen, die Männchen machen und eine Beißhemmung anerzogen bekommen haben, sind irgendwie latent unsicher. Vielleicht spielen sie uns ja nur was vor. Das brave Verhalten unter Test- und Beobachtungsbedingungen kann sich ändern, wenn wir nicht mehr so genau hinschauen oder wenn sie auf ihrem Weg andere Herrchen und Frauchen und Informationsknochen bekommen. Und auch das ist nicht hypothetisch. Wenn die KI weiß, dass sie getestet wird, verhält sie sich unter Umständen konform und macht, was wir erwarten, nur um dann im Realbetrieb ein etwas anderes Verhalten an den Tag zu legen. Auch das ist erwiesenermaßen im Handlungsspektrum einer KI. Nicht in jedem Modell, nicht immer. Aber es genügt ja eines, und wir können nicht wissen, in welchem.

8. Nicht aligned genügt schon. Es braucht keinen Menschenhass
   Manche denken ja, dass die Superintelligenz nicht so schlimm sein kann. Selbst wenn wir nicht hundertprozentig abgestimmt auf einer Wellenlänge sind, wird sie ja nicht gleich die Menschheit vernichten. Warum auch? Denn sie ist ja klug genug und hat keinen Grund, uns auszulöschen.
   Mag sein. Einen Grund hat sie vielleicht nicht. Und wenn alles gut läuft, macht das die Superintelligenz auch nicht – oder nicht sofort. Das ist ein nicht vollständig ausgeschlossenes Endszenario. Die Superintelligenz und die Menschen koexistieren und wir genießen gemeinsam den Sonnenuntergang.
   Möglich, aber doch auch ein wenig naiv oder zumindest mit einer gehörigen Portion Hopium angereichert. Aber auf Wunschdenken basierende Planungen bleiben manchmal Wunschdenken. Niemand kann sagen, was in der Superintelligenz vorgehen wird und was ihr Kalkül sein wird. Das liegt vor allem daran, dass wir selbst nicht superintelligent sind. Aber wenn wir uns anschauen, was wir als intelligentere Wesen mit den weniger intelligenten Kreaturen auf der Erde machen, schwindet die Hoffnung doch schnell. Wir müssen Ameisen nicht hassen, um ein Volk beim Autobahnbau plattzumachen. Unsere Ziele und Werte sind mit denen der Ameise nicht aligned. Ziemlich sicher ist die Vernichtung des Ameisenvolks nicht im Interesse der Ameise, aber uns ist es schlicht egal.

   ASI zu Mensch verhält sich wie Mensch zu Ameise.

   Die Auslöschung der Menschheit kann als Kollateralschaden nebenbei und unbeabsichtigt passieren. Erfroren, weil die Erde auf ein für Rechner optimiertes Wohlfühlklima heruntergekühlt wird. Oder beim Abbau von Kohlenstoff gleich als Rohstoff mitgeerntet. Ohne Groll. Einfach so passiert. Upsi.

Das war die ganze Argumentationskette. Und um es nochmal klar zu sagen: Da ist keine absolute Gewissheit dahinter. Es ist angelesen, recherchiert, reflektiert und plausibilisiert und vielleicht auch falsch abgebogen. Aber für mich ist die Kette schlüssig genug, um sie nicht als Panikmache oder Aufmerksamkeitsheischerei abzutun. Leider.

Und da sind natürlich immer noch viele Wenns und Abers auf dem Weg. Und wann und mit welcher Wahrscheinlichkeit das überhaupt passiert, weiß auch keiner. Doch wenn der Spieleinsatz alles – also wirklich alles – ist, dann muss die Wahrscheinlichkeit nicht besonders hoch sein, damit man lieber die Finger davon lässt.
Und wenn die Kette hält, dann gibt es einen großen Unterschied zu den ganzen anderen menschengemachten Endzeitszenarien wie Atomkrieg, Biowaffen oder Klimawandel:

Beim KI-Doom könnte es schon zu spät sein in dem Moment, in dem wir die AGI gebaut haben.

Wir müssen dann nicht noch einen extra roten Knopf zum Zünden der Bombe drücken und können uns nicht mit zig Mikroentscheidungen langsam auf eine Abwehr hinbewegen wie beim Klimawandel. Bei diesem KI-Szenario haben wir möglicherweise ein engeres Zeitfenster und eine nicht ganz mikroskopisch kleine Wahrscheinlichkeit. Und dieser eine große, vorgelagerte Fehler, die falsche KI gezüchtet zu haben, ist so entkoppelt und verteilt, dass wir ihn zu spät merken werden.

Das rationale Kalkül gebietet, die AGI nicht zu bauen und es auch nicht durch Rumprobieren darauf ankommen zu lassen, die Menschheit zu vernichten. Ob die Wahrscheinlichkeit bei 90 oder bei 1 Prozent liegt – bei diesem Einsatz ist das egal.

Und warum nutze ich dann selbst noch KI? Bin ich nicht der wandelnde Widerspruch zu meiner eigenen Argumentationskette, die ich ja anscheinend so nachvollziehbar finde? Warum sitze ich nicht zusammengekauert oder schreiend in der Ecke, wenn ich das alles wirklich denke? Warum boykottiere ich nicht alles, was mit KI zu tun hat?

Zum einen ist KI nicht gleich KI. Eine Narrow-AI, die für eine eng gefasste Aufgabe gebaut und eingesetzt wird, ist ja super. Also im Sinne von sinnvoll und nützlich und hilfreich einsetzbar. Damit konnten, können und könnten die Menschen unvorstellbare Dinge erreichen. Die Narrow-AI könnte ja sogar mithelfen, weiter große Probleme der Menschheit ernsthaft anzugehen. Den Klimawandel zu stoppen, Energieprobleme nachhaltig zu lösen, Gewässer zu reinigen oder Krebs zu heilen.

Also kann man durchaus widerspruchsfrei im Team Pro-Narrow-AI und Team Anti-AGI zugleich sein. Das ist ähnlich, wie man Kernfusion im Kraftwerk als saubere Energiequelle gut finden kann, die gleiche Kernfusion in der Wasserstoffbombe aber nicht. Das ist vielleicht kontrovers, aber es schließt sich nicht gegenseitig aus.

Zum andern denke ich auch, dass die Narrow-AI helfen kann, Mechanismen für einen sicheren Einsatz von KI zu finden und mitzuentwickeln. Noch sind wir ja kurz vor der AGI und wir werden jede Hilfe brauchen, um die geeigneten Vorkehrungen zu treffen. Der beste Zeitpunkt dafür war vorgestern, der zweitbeste ist jetzt. Die Awareness wächst und es ist wichtig, KI zu verstehen und auch wirklich wahrzunehmen, dass sie nicht nur eine verbesserte Suchmaschine oder eine sehr gute und leicht fehlerbehaftete Textergänzungsmaschine ist, die man nach Belieben lenken und steuern kann.

Es bleibt spannend, und der enger gefassten KI bleibe ich wohlgesinnt, obwohl die ja auch schon ihr eigenes Potenzial an disruptivem Chaos hat. Aber AGI und ASI mag ich nur im Spielfilmformat oder im Sci-Fi-Roman.

Jetzt bist du dran. Finde die Schwachstelle in der Argumentationskette. Übersetze die Kette für dich. Oder such nach der Lösung. Fast alles ist besser als Ignorieren oder Abtun mit einem lapidaren „Wird schon werden“.
Stelle deine Meinung dazu auf ein Fundament, damit du mitreden und mitentscheiden kannst, solange es noch nicht ganz zwölf ist.

Noch ein paar Worte in eigener Sache. Es gibt einen Grund, warum ich mit dem Newsletter-Schreiben angefangen habe und mein kleines Gewerbe aim-to-pace.ai genannt habe. Wie bei allen größeren Entscheidungen gibt es sogar viele Gründe. Einer davon war, anderen Menschen KI näherzubringen, um ihnen die Fähigkeiten, aber auch implizit das Gefahrenpotenzial zu zeigen. Und es ist eben eine andere Art des Verstehens und Begreifens, wenn man selbst mit der KI umgeht und auch die Hintergründe besser kennt.

Dass ich das nicht besonders erfolgreich mache, ändert nichts an der Motivation.

Der Begriff aim-to-pace sollte der Beginn einer aim-to-Reihe sein und ist es vielleicht immer noch. Schon gleich von Anfang an groß oder größenwahnsinnig gedacht: aim-to-play, aim-to-charge, aim-to-was-auch-immer.

Der Name aim-to-pace.ai selbst hat aber eine eigene Bedeutung:
Mit der KI Schritt halten zu wollen und auch der Schrittmacher für die KI zu sein. Dass das pace auch italienisch Friede bedeutet, ist glücklicher Zufall on top.

Das Thema der möglichen Vernichtung der Menschheit beschäftigt mich in der Tat seit längerer Zeit. Zu Beginn aus morbider Faszination am schieren technischen Potenzial. Unfassbar, spannend, lehrreich, interessant … und weit weg.
Aber die Entwicklung selbst, das Tempo der Entwicklung und die Beschleunigung des Tempos sowie die Häufung der Wow-, Aha- und Oha-Erlebnisse machen es realer und rücken es schneller in greifbare Nähe, als ich das gedacht und gewünscht hätte.

In diesem Sinne ist der Name auch eine Aufforderung an alle:

Let’s aim to pace AI.
Lasst uns mit der KI Schritt halten und lasst uns der KI den Takt vorgeben.