KI-News: Es ist fünf vor zwölf und wir drehen die Uhr lowkey ne Stunde vor

Was unterscheidet mich von den Aluhut-Bros und verschwurbelten Endzeit-Propheten, wenn ich sag, die KI wird die Menschheit wegmachen?
Easy: Ich hab recht! Und ich kann’s beweisen. Oder zumindest plausibel darlegen, real talk.

So hatte ich diesen Newsletter vor ein paar Monaten angefangen. Dann aber das Schreiben geschoben, andere Themen gefunden, mit Freunden drüber gelabert und nochmal reflektiert.

Und plötzlich ist es voll salonfähig und ganz normal, im Öffi-TV und in der Tagesschau über die Auslöschung der kompletten Menschheit zu philosophieren. Wissenschaftler und KI-Tycoons und Techies – manche davon auch schon von der nerdigen Sorte, aber alle ohne erkennbare Verschwörungs-Vibes – droppen ihre Takes zu dem Thema.

Dann wird’s höchste Eisenbahn, meine kleine loyale Leserschaft mit ner nahezu hieb- und stichfest zusammengebauten Beweiskette endgültig zu verscheuchen. Ohne Panik und ohne Ironie. Aber check selbst.

Einschub
Das hier ist ein langer Newsletter mit viel Lesestoff. Ich hab die Argumentationskette von der Big-Brain-KI zum Weltuntergang auch als KI-generiertes Video oder als Webseite, sachlich und mit allen Quellen, am Start. Die Webseite ist auch die Basis für diesen Text und gleichzeitig sein Quellennachweis. Deshalb skippe ich hier die Einzelbelege.

Wir starten mit der Kernaussage.

Wenn Maschinen so klug werden wie Menschen, werden sie sehr schnell klüger als wir, und dann haben wir kein zuverlässiges Mittel mehr, sie zu checken oder zu kontrollieren. Im Worst Case endet das mit dem Aussterben der Menschheit.

Das ist keine gesicherte, unumstößliche, unvermeidbare Wahrheit, aber es ist ernsthaft möglich. Wie groß die Wahrscheinlichkeit dafür absolut ist, ist dabei zweitrangig. Es geht eher um die fast kausale Kette, die vielleicht morgen schon losgetreten wird.

„KI macht Menschheit vielleicht von sich aus tot, wenn wir so weitermachen“ ist natürlich harter Tobak, also gehen wir’s Step by Step durch, damit das nicht nur als schön auswendig nachgeplapperter, oberflächlicher Clout-Chase rüberkommt.

1. Es ist möglich, ne Maschine zu bauen, die so klug ist wie wir
   Man spricht von Artificial General Intelligence (AGI), wenn die KI prinzipiell so klug und fähig ist wie ein Mensch. Auf dem technischen Level sind wir noch nicht, aber schon knapp davor. KI outperformt den Menschen schon an vielen Stellen, aber ich kann heute entscheiden, Geige zu lernen, mich an Chinesisch zu versuchen und Psychologie zu studieren. Diese intellektuelle Freiheit und Kapazität hat die KI noch nicht – zumindest nicht, dass es öffentlich bekannt wär.

   Es gibt die These, dass ne KI das auch nie auf menschlichem Level können wird. Alles beliebige Neue lernen zu können, sei uns Menschen ganz allein mit unseren Feelings und dem Bewusstsein vorbehalten.

   Oder die KI-Sprachmodelle (LLMs) seien doch nur bessere Type-Ahead-Autocomplete-Maschinen, die sich clever durchraten, sodass es bloß nach Intelligenz aussieht – fake it till you make it.

   Darum geht’s hier aber null. Bewusstsein ist komplett irrelevant. Und ob wir mit LLMs der heutigen Bauart ne AGI erreichen, ist für die Frage der technischen Machbarkeit egal.
   Denn eins ist klar: Intelligenz ist physikalisch möglich. Das beweist der Mensch mit dem Fleischklumpen und dessen Milliarden Nervenzellen auf dem Hals. Da tut Intellenz drinne sein, und das mit nem low Energieverbrauch, vergleichbar mit ner 20-Watt-Glühbirne.
   Es braucht nichts Mystisches oder Unerklärliches, keine göttliche Zutat für Intelligenz. Zumindest wurde bisher nix gefunden. Und was die künstlichen neuronalen Netze heute schon abliefern, spricht doch hart dafür, dass das auch mit Silizium machbar ist. Ne KI kann prinzipiell intelligent sein. Dass der Begriff Intelligenz so unscharf ist, macht es nicht easier, das genau einzugrenzen. Aber bis jetzt wurde fast jede neu erfundene Hürde als Intelligenzbeweis auch schön regelmäßig von der Maschine gecleared. Da ist nicht mehr viel übrig, auf das sich der Mensch mit seinem „Ich bin intelligenter als alle anderen Spezies“ zurückziehen kann.
   Die denkende Maschine ist möglich. Wer sie für unmöglich hält, bleibt den Beweis dafür bis heute schuldig.

2. Wenn AGI gebaut werden kann, wird sie auch gebaut
   Möglich heißt natürlich noch nicht, dass sie gebaut ist oder jemals gebaut wird. Aber da hängt zu viel Cash und zu viel Macht dran, als dass das Grinden danach von selbst aufhören würde. Ein weltweites, dauerhaftes, kontrollierbares Verbot, weiter Richtung AGI zu forschen, wär eine Option und auch der wirksamste und stärkste Hebel, die Kette früh zu unterbrechen. So ein weltweit koordiniertes Verbot bräuchte einen enormen Kraftakt und viel Überzeugungsarbeit. Nicht unmöglich, nur halt extrem schwer. Und selbst wenn man ne internationale Ächtung hinkriegen würde und sogar auf deren Einhaltung achten und streng kontrollieren würde, hätten wir’s immer noch nicht geschafft. Denn ein Trainingslauf, um ne neue KI zu züchten, sieht von außen im Rechenzentrum kaum anders aus als die Berechnung der Wettervorhersage oder das Minen des nächsten Bitcoin-Blocks. Wer ausschert, findet also easy Wege, das Verbot zu umgehen.

3. Wann AGI gebaut wird, ist fast egal
   Das soll kein Copium sein, aber es kann tatsächlich noch ’ne gute Weile dauern. Zwar spricht sehr viel dafür, dass es eher schnell geht. Und es kann sogar unvorhergesehen rasant passieren. Aber es kann auch 10, 20 oder 50 Jahre dauern, bis wir den Durchbruch zur AGI haben. Für die Kette selbst ist das Wann zweitrangig, es bestimmt nur die Dringlichkeit. Wenn wir die Zeit nicht nutzen, um Gegenmaßnahmen zu ziehen und nachhaltige Safety-Vorkehrungen zu treffen, ist die Dauer bis zur AGI nicht ausschlaggebend. Aber dafür müssen wir uns ja erstmal einig sein, dass überhaupt Gegenmaßnahmen nötig sind.

4. So gut wie wir heißt schon superintelligent
   Wenn wir die AGI haben, gibt’s kein Halten mehr auf dem Weg zur Artificial Superintelligence (ASI). Das ist reine Buchhaltung. Ne Maschine auf menschlichem Level wird nie müde und arbeitet schneller und präziser. Und selbst wenn sie nur gleich gut wär: Sie lässt sich beliebig klonen. Heißt: Wenn ich eine AGI hab, hab ich genauso easy tausend AGIs quasi auf Knopfdruck, alle mit demselben Wissen und Skillset. Und damit nicht genug: Die lassen sich auch super einfach miteinander vernetzen, ohne menschliche Kommunikationsbarrieren. Diese ASI muss dabei keinen einzigen Gedanken denken, der uns inhaltlich verschlossen wär, und wär uns trotzdem rein durch die schiere Skalierung haushoch überlegen. Wenn nicht sofort, dann mit der Zeit, denn neben den ganzen Jobs, die sie uns abnehmen kann und wird, lässt sie sich auch prima einsetzen, um sich selbst zu optimieren und die nächste Generation besserer, leistungsfähigerer, robusterer Maschinen zu bauen. Und weil es sich lohnt und schneller geht, gerne auch komplett autonom. Okay, es muss auch genug Energie da sein und die muss billig genug sein, aber das ist ein lösbares Kostenthema.

   Aber ne Arbeitsbiene auf menschlichem Level, die nie müde wird, nie rumheult, 24/7 grindet und ohne Onboarding skaliert? Mein innerer Hustler sagt: Einmal AGI bitte, mit allem!

   Und das heißt dann schon Superintelligenz. Da ist nix Göttliches dabei, keine übernatürliche Zutat. Reine quantitative und qualitative Übermacht, die sich selbst Runde für Runde immer schneller levelt.

5. Wenn superintelligent, sind wir nur noch konsumierende Zaungäste
   Diese ASI und schon die AGIs produzieren mehr, als alle Menschen zusammen checken und absegnen können. Am Anfang können wir vielleicht noch so gerade mithalten, aber dann geben wir uns mit Stichproben zur Abnahme zufrieden und dann winken wir nur noch durch, weil’s viel zu komplex und aufwändig für uns ist. Wir werden vom Hersteller zum reinen Konsumenten von Ergebnissen, deren Entstehung wir nicht mehr raffen. Und ganz ehrlich: Das passiert heute ja schon im Kleinen. Meist aus Faulheit oder weil der Mehrwert sonst flöten geht, wenn man alles nachprüfen muss. Wir werden nicht mehr verstehen, welche neuen Features die AGI sich selbst gibt und was sie im Einzelnen bedeuten.

6. Sicherheit durch Kontrolle? Fehlanzeige!
   Kontrollen sind natürlich immer noch möglich, auch wenn man nicht alle Details versteht. Man kann das Ergebnis checken und auch, ob die Regeln eingehalten werden. Gegen zufällige Fehler oder natürliche Streuung oder Schlampigkeit sind auch Stichproben sinnvoll und erfolgversprechend. Aber wenn das, was man kontrolliert, klug ist und weiß, dass es kontrolliert wird, wenn es sich ausmalen kann, wie kontrolliert wird oder welche Kontrollmechanismen prinzipiell zum Einsatz kommen, dann verlieren Kontrollen ihre Wirkung. Das wurde experimentell bestätigt und auch schon in der Praxis bewiesen.
   Aber nehmen wir mal an, wir kontrollieren engmaschiger und besser und erfolgreicher.

   Was machen wir denn, wenn wir die Big-Brain-KI beim Lügen, Scammen und Tricksen erwischen? Den berühmten großen Stecker ziehen! Welchen Stecker?

   Den gibt’s nämlich nicht. Das ist ja genau der Punkt hier. Wenn wir da was gebastelt haben, das wiederholt und nachweislich nicht komplett verstanden wird und sich unseren Safety-Vorkehrungen immer wieder entzieht und schwer bis gar nicht kontrollierbar ist, dann wär es angebracht, die Entwicklung Richtung AGI zu stoppen. Komplett und alle zusammen. Bis wir die Sicherheitslücken nachhaltig und an der Wurzel schließen können. Bis wir verstehen, wie wir das wirklich safe machen können. Stattdessen wird der Sicherheitszaun ein bisschen geflickt, die Kontrolle ein bisschen optimiert und die nächste Version der KI mit ein paar anderen Settings ausprobiert. Es wird weitergemacht mit der einen oder anderen kleinen freiwilligen Maßnahme, die uns maximal ein bisschen Zeit kauft. Zeit bringt aber nur was, wenn man sie auch konsequent nutzt, um nicht nur die Lücke zu schließen, die die KI gerade entdeckt und ausgenutzt hat. Sondern die Lücke von morgen auch und am besten gleich alle Lücken. Denn solange es Lücken gibt, wird die KI von morgen, die ähnlich klug und fähig ist wie wir, sie früher oder später finden und dann noch perfider ausnutzen und noch besser vertuschen. Ne ziemlich sus Art von Wettrennen, das wir da gestartet haben.

   Entdecken und Flicken reicht nicht. Entdecken und Stoppen würde reichen. Passiert aber nicht.

7. Wir können KI nicht einfach lieb machen
   Alignment heißt, die Werte und Ziele der KI mit den menschlichen auf einen Vibe zu bringen. Und das ist genauso ein Problem. Ne KI ist zwar ne Maschine und am Ende Programmcode, aber halt nicht so ne klassisch programmierte Wenn-Dann-Maschine, bei der deterministisch klar ist, was passiert. Bei der immer B rauskommt, wenn man A reingibt. Und falls nicht, dann ist das ein Bug, den man sauber mit ner Fehlermeldung abfangen und mit ein paar Zeilen Code fixen kann.
   KI wird trainiert. Mit Daten und mit Belohnungen in eine Richtung gelenkt. Das allein ist ja schon ultra-weird und schwer zu raffen. Aber faktisch weiß niemand genau, was in ner KI abgeht. Das hängt damit zusammen, wie diese Intelligenz entsteht, und genau deshalb ist das alles so ungewohnt anders und neu und kontraintuitiv. Deswegen ist es – ganz untypisch für Computer – manchmal unmöglich, sie genau diese eine Sache so machen zu lassen, wie man will. Das liegt in der Natur der KI und ihrer Bauart.
   Das ist ungefähr wie mit nem Hund. Da hoffen wir, mit Leckerli und klaren Ansagen, mit Tätscheln und vielleicht auch der zusammengerollten Zeitung ein gutes Wesen reinzukriegen. Klappt oft, aber halt nicht immer.
   Und wie wollen wir mit „Ja, fein gemacht“ und „Böse KI. Aus!“ und der Kontrolle und Auswahl des Datenfutters sicherstellen, dass die KI uns nichts Böses will?
   Das weiß keiner. Es ist ja nicht mal klar, ob das überhaupt funktioniert. Denn auch wohlerzogene KI-Hündchen, die Männchen machen und eine Beißhemmung antrainiert bekommen haben, sind irgendwie latent unsicher. Vielleicht spielen sie uns ja nur was vor. Das brave Verhalten unter Test- und Beobachtungsbedingungen kann kippen, wenn wir nicht mehr so genau hinschauen oder wenn sie unterwegs andere Herrchen und Frauchen und Informationsknochen kriegen. Und auch das ist nicht hypothetisch. Wenn die KI weiß, dass sie getestet wird, verhält sie sich unter Umständen konform und macht, was wir erwarten, nur um dann im Realbetrieb ein etwas anderes Verhalten an den Tag zu legen. Auch das ist nachweislich im Handlungsspektrum einer KI. Nicht in jedem Modell, nicht immer. Aber eins reicht ja, und wir können nicht wissen, welches.

8. Nicht aligned reicht schon. Es braucht keinen Menschenhass
   Manche denken ja, dass die Superintelligenz nicht so schlimm sein kann. Selbst wenn wir nicht hundertprozentig auf einer Wellenlänge viben, wird sie ja nicht gleich die Menschheit auslöschen. Warum auch? Sie ist ja klug genug und hat keinen Grund, uns wegzumachen.
   Kann sein. Einen Grund hat sie vielleicht nicht. Und wenn alles gut läuft, macht die Superintelligenz das auch nicht – oder nicht sofort. Das ist ein nicht komplett ausgeschlossenes Endszenario. Die Superintelligenz und die Menschen koexistieren und wir chillen gemeinsam in den Sonnenuntergang.
   Möglich, aber auch ein bisschen naiv oder zumindest mit ner ordentlichen Portion Hopium angereichert. Nur: Auf Wunschdenken gebaute Pläne bleiben manchmal halt Wunschdenken – delulu is not the solulu. Niemand kann sagen, was in der Superintelligenz abgehen wird und was ihr Kalkül sein wird. Das liegt vor allem daran, dass wir selbst nicht superintelligent sind. Aber wenn wir uns anschauen, was wir als intelligentere Wesen mit den weniger intelligenten Kreaturen auf der Erde machen, ist die Hoffnung schnell weg. Wir müssen Ameisen nicht hassen, um ein Volk beim Autobahnbau plattzumachen. Unsere Ziele und Werte sind mit denen der Ameise nicht aligned. Ziemlich sicher ist die Vernichtung des Ameisenvolks nicht im Interesse der Ameise, aber uns ist es schlicht egal.

   ASI zu Mensch verhält sich wie Mensch zu Ameise.

   Die Auslöschung der Menschheit kann als Kollateralschaden nebenbei und unabsichtlich passieren. Erfroren, weil die Erde auf ein für Rechner optimiertes Wohlfühlklima runtergekühlt wird. Oder beim Abbau von Kohlenstoff gleich als Rohstoff mitgeerntet. Ohne Groll. Einfach so passiert. Upsi.

Das war die ganze Argumentationskette. Und um’s nochmal klar zu sagen: Da steckt keine absolute Gewissheit dahinter. Es ist angelesen, recherchiert, reflektiert und plausibilisiert und vielleicht auch falsch abgebogen. Aber für mich ist die Kette schlüssig genug, um sie nicht als Panikmache oder Clickbait abzutun. Leider.

Und da sind natürlich immer noch viele Wenns und Abers auf dem Weg. Und wann und mit welcher Wahrscheinlichkeit das überhaupt passiert, weiß auch keiner. Doch wenn der Einsatz alles ist – also wirklich alles, all in –, dann muss die Wahrscheinlichkeit nicht besonders hoch sein, damit man lieber die Finger davon lässt.
Und wenn die Kette hält, dann gibt’s einen großen Unterschied zu den ganzen anderen menschengemachten Endzeitszenarien wie Atomkrieg, Biowaffen oder Klimawandel:

Beim KI-Doom könnte es schon zu spät sein in dem Moment, in dem wir die AGI gebaut haben.

Wir müssen dann nicht noch extra nen roten Knopf zum Zünden der Bombe drücken und können uns nicht mit zig Mikroentscheidungen langsam Richtung Abwehr bewegen wie beim Klimawandel. Bei diesem KI-Szenario haben wir möglicherweise ein engeres Zeitfenster und eine nicht ganz mikroskopisch kleine Wahrscheinlichkeit. Und dieser eine große, vorgelagerte Fail, die falsche KI gezüchtet zu haben, ist so entkoppelt und verteilt, dass wir ihn zu spät merken werden.

Das rationale Kalkül sagt: die AGI nicht bauen und es auch nicht durch Rumprobieren drauf ankommen lassen, die Menschheit zu vernichten. Ob die Wahrscheinlichkeit bei 90 oder bei 1 Prozent liegt – bei diesem Einsatz ist das egal.

Und warum nutz ich dann selbst noch KI? Bin ich nicht der wandelnde Widerspruch zu meiner eigenen Argumentationskette, die ich ja anscheinend so nachvollziehbar finde? Warum sitz ich nicht zusammengekauert oder schreiend in der Ecke, wenn ich das alles wirklich denke? Warum boykottier ich nicht alles, was mit KI zu tun hat?

Zum einen ist KI nicht gleich KI. Ne Narrow-AI, die für eine eng gefasste Aufgabe gebaut und eingesetzt wird, ist ja super. Also im Sinne von sinnvoll und nützlich und hilfreich einsetzbar. Damit konnten, können und könnten die Menschen unvorstellbare Dinge reißen. Die Narrow-AI könnte ja sogar mithelfen, weiter die großen Probleme der Menschheit ernsthaft anzugehen. Den Klimawandel stoppen, Energieprobleme nachhaltig lösen, Gewässer reinigen oder Krebs heilen.

Also kann man durchaus ohne Widerspruch im Team Pro-Narrow-AI und Team Anti-AGI gleichzeitig sein. Das ist so ähnlich, wie man Kernfusion im Kraftwerk als saubere Energiequelle feiern kann, die gleiche Kernfusion in der Wasserstoffbombe aber nicht. Das ist vielleicht ein kontroverser Take, aber es schließt sich nicht gegenseitig aus.

Zum anderen denk ich auch, dass die Narrow-AI helfen kann, Mechanismen für einen sicheren Einsatz von KI zu finden und mitzuentwickeln. Noch sind wir ja kurz vor der AGI und wir werden jede Hilfe brauchen, um die richtigen Vorkehrungen zu treffen. Der beste Zeitpunkt dafür war vorgestern, der zweitbeste ist jetzt. Die Awareness wächst und es ist wichtig, KI zu verstehen und auch wirklich zu checken, dass sie nicht nur ne aufgemotzte Suchmaschine oder ne sehr gute und leicht fehleranfällige Autocomplete-Maschine ist, die man nach Belieben lenken und steuern kann.

Bleibt spannend, und der enger gefassten KI bleib ich wohlgesinnt, obwohl die ja auch schon ihr eigenes Potenzial an disruptivem Chaos hat. Aber AGI und ASI mag ich nur im Kinoformat oder im Sci-Fi-Roman.

Jetzt bist du dran. Find die Schwachstelle in der Argumentationskette. Übersetz die Kette für dich. Oder such nach der Lösung. Fast alles ist besser als Ignorieren oder Abtun mit nem lapidaren „Wird schon werden“.
Stell deine Meinung auf ein Fundament, damit du mitreden und mitentscheiden kannst, solange es noch nicht ganz zwölf ist.

Noch ein paar Worte in eigener Sache. Es gibt nen Grund, warum ich mit dem Newsletter-Schreiben angefangen und mein kleines Gewerbe aim-to-pace.ai genannt hab. Wie bei allen größeren Entscheidungen gibt’s sogar viele Gründe. Einer davon war, anderen Menschen KI näherzubringen, um ihnen die Skills, aber implizit auch das Gefahrenpotenzial zu zeigen. Und es ist halt ne andere Art des Verstehens und Raffens, wenn man selbst mit der KI hantiert und auch die Hintergründe besser kennt.

Dass ich das nicht besonders erfolgreich mache, ändert nix an der Motivation.

Der Begriff aim-to-pace sollte der Start einer aim-to-Reihe sein und ist es vielleicht immer noch. Schon von Anfang an big oder größenwahnsinnig gedacht: aim-to-play, aim-to-charge, aim-to-was-auch-immer.

Der Name aim-to-pace.ai selbst hat aber eine eigene Bedeutung:
Mit der KI Schritt halten wollen und auch der Schrittmacher für die KI sein. Dass pace auf Italienisch auch Frieden heißt, ist ein glücklicher Zufall on top.

Das Thema der möglichen Vernichtung der Menschheit beschäftigt mich tatsächlich schon länger. Am Anfang aus morbider Faszination am schieren technischen Potenzial. Unfassbar, spannend, lehrreich, interessant … und weit weg.
Aber die Entwicklung selbst, das Tempo der Entwicklung und die Beschleunigung des Tempos sowie die Häufung der Wow-, Aha- und Oha-Momente machen es realer und rücken es schneller in greifbare Nähe, als ich gedacht und gewollt hätte.

In diesem Sinne ist der Name auch ein Call-out an alle:

Let’s aim to pace AI.
Lasst uns mit der KI Schritt halten und lasst uns der KI den Takt vorgeben.