Noticias IA: son las doce menos cinco y adelantamos el reloj una hora

¿Qué me diferencia de los profetas del apocalipsis con gorro de papel de aluminio y la cabeza llena de humo cuando digo que la IA va a aniquilar a la humanidad?
Muy sencillo: ¡que yo tengo razón! Y puedo demostrarlo. O al menos exponerlo de forma plausible.

Así había empezado esta newsletter hace un par de meses. Pero luego aplacé la escritura, encontré otros temas, lo discutí con amigos y lo volví a reflexionar.

Y de repente resulta presentable y de lo más normal filosofar sobre la extinción de toda la humanidad en los medios públicos y en el Tagesschau. Científicos, magnates de la IA y techies —algunos ya de la variedad bastante nerd, pero todos sin indicios reconocibles de pensamiento conspiranoico— se explayan sobre el tema.

Entonces ya va siendo hora de espantar definitivamente a mis pocos y fieles lectores con una cadena de pruebas reunida casi a prueba de balas. Sin pánico y sin ironía. Pero juzga tú mismo.

Inciso
Esta es una newsletter larga, con mucho material de lectura. Tengo la cadena argumental de la IA lista al fin del mundo también como vídeo generado por IA o como página web, sobria y con todas las fuentes. La web es también la base de este texto y a la vez su aparato de fuentes. Por eso aquí prescindo de las citas individuales.

Empezamos con la tesis central.

Si las máquinas llegan a ser tan listas como los humanos, muy pronto serán más listas que nosotros, y entonces ya no tendremos ningún medio fiable para verificarlas o controlarlas. En el peor de los casos, eso acaba con la extinción de la humanidad.

No es una verdad asegurada, irrefutable e inevitable, pero es seriamente posible. El orden de magnitud absoluto de la probabilidad es secundario. Se trata más bien de la cadena casi causal que quizá se ponga en marcha mañana mismo.

«La IA quizá se cargue a la humanidad por iniciativa propia si seguimos así» son palabras mayores, claro, así que vamos paso a paso, para que esto no suene solo a darse importancia repitiendo como un loro cosas superficiales aprendidas de memoria.

1. Es posible construir una máquina tan lista como nosotros
   Se habla de Artificial General Intelligence (AGI) cuando la IA es, en principio, tan lista y capaz como un ser humano. A ese nivel técnico todavía no hemos llegado, pero nos falta poco. La IA ya supera al ser humano en muchos terrenos, pero yo hoy puedo decidir aprender a tocar el violín, intentarlo con el chino y estudiar psicología. Esa libertad y capacidad intelectual la IA todavía no la tiene; al menos, no que se sepa públicamente.

   Existe la tesis de que una IA nunca podrá hacer eso a nivel humano. Poder aprender cualquier cosa nueva estaría reservado solo a nosotros, los humanos, con nuestros sentimientos y nuestra conciencia.

   O que los modelos de lenguaje de IA (LLMs) no son más que máquinas de autocompletar texto un poco mejores, que van adivinando con astucia, de modo que solo dan la apariencia de inteligencia.

   Pero de eso no va esto en absoluto. La conciencia es completamente irrelevante. Y si con LLMs del tipo actual podemos llegar a una AGI da igual para la cuestión de la viabilidad técnica.
   Porque una cosa está clara: la inteligencia es físicamente posible. Lo demuestra el ser humano con ese pedazo de carne con miles de millones de neuronas que lleva sobre los hombros. Ahí dentro estar haciendo inteligensia, y eso con un consumo energético comparable al de una bombilla de 20 vatios.
   No hace falta nada místico o inexplicable, ningún ingrediente divino para la inteligencia. Al menos hasta ahora no se ha encontrado nada. Y lo que las redes neuronales artificiales ya consiguen hoy habla mucho a favor de que también se puede hacer con silicio. Una IA puede, en principio, ser inteligente. Lo borroso del concepto de inteligencia no facilita delimitarlo con precisión. Pero hasta ahora casi cada nuevo obstáculo inventado como prueba de inteligencia también lo ha ido superando la máquina, con bonita regularidad. Ya no queda mucho a lo que el ser humano pueda replegarse con su «soy más inteligente que todas las demás especies».
   La máquina pensante es posible. Quien la considera imposible sigue debiendo la prueba a día de hoy.

2. Si la AGI se puede construir, se construirá
   Posible, claro, no significa que ya esté construida o que vaya a construirse nunca. Pero hay demasiado dinero y demasiado poder en juego como para que la carrera hacia ella se detenga sola. Una prohibición mundial, duradera y controlable de seguir investigando en dirección a la AGI sería una posibilidad, y además la palanca más eficaz y potente para cortar la cadena pronto. Una prohibición así, coordinada a escala mundial, requeriría un esfuerzo enorme y mucho trabajo de persuasión. No imposible, solo extraordinariamente difícil. E incluso si se lograra una proscripción internacional, e incluso si se vigilara su cumplimiento y se controlara con rigor, aún no lo habríamos conseguido. Porque, visto desde fuera, un entrenamiento para criar una nueva IA apenas se distingue del cálculo de la previsión meteorológica o de la minería del siguiente bloque de Bitcoin en el centro de datos. Quien se desmarque encontrará, pues, maneras fáciles de sortear la prohibición que se le haya impuesto.

3. Cuándo se construya la AGI da casi igual
   Esto no pretende tranquilizar, pero de verdad puede tardar todavía un buen rato. Hay muchos indicios de que irá más bien rápido. Y puede incluso ocurrir de forma imprevista y vertiginosa. Pero también pueden pasar 10, 20 o 50 años hasta que tengamos el gran salto a la AGI. Para la cadena en sí, el cuándo es secundario; solo determina la urgencia. Si no aprovechamos el tiempo para tomar contramedidas y establecer salvaguardas duraderas, el plazo hasta la AGI no es decisivo. Aunque para eso primero tendríamos que ponernos de acuerdo en que hacen falta contramedidas.

4. Tan buena como nosotros ya significa superinteligente
   Una vez que tengamos la AGI, ya no habrá quien pare el camino hacia la Artificial Superintelligence (ASI). Eso es pura contabilidad. Una máquina a nivel humano nunca se cansa y trabaja más rápido y con más precisión. E incluso si solo fuera igual de buena: se puede clonar a voluntad. Es decir, si tengo una AGI, tengo con la misma facilidad mil AGIs prácticamente con solo pulsar un botón, todas con el mismo conocimiento y las mismas capacidades. Y no acaba ahí la cosa: además se pueden interconectar muy fácilmente, sin barreras de comunicación humanas. Esta ASI no tiene que pensar ni un solo pensamiento que nos resulte inaccesible en cuanto a contenido y, aun así, nos superaría de largo por pura escala. Si no de inmediato, sí con el tiempo, porque además de todas las tareas que puede quitarnos de encima, y nos quitará, también se la puede emplear de maravilla para optimizarse a sí misma y construir la siguiente generación de máquinas mejores, más potentes y más robustas. Y como sale a cuenta y va más rápido, de paso también de forma completamente autónoma. Vale, también tiene que haber suficiente energía, y tiene que ser lo bastante barata, pero eso es una cuestión de costes que tiene solución.

   Pero ¿una abeja obrera a nivel humano que nunca se cansa, nunca se queja, curra 24/7 y escala sin onboarding? Mi empresario interior dice: ¡Una AGI, por favor, con todo!

   Y eso ya significa superinteligencia. No hay nada divino en ello, ningún ingrediente sobrenatural. Pura superioridad cuantitativa y cualitativa, que se mejora a sí misma ronda tras ronda, cada vez más deprisa.

5. Si es superinteligente, ya solo somos espectadores consumidores al otro lado de la valla
   Esta ASI, y ya las propias AGIs, producen más de lo que todos los humanos juntos pueden revisar y validar. Al principio quizá todavía podamos seguir el ritmo a duras penas, pero luego nos conformaremos con muestras aleatorias para dar el visto bueno, y después ya solo daremos luz verde a todo, porque es demasiado complejo y costoso para nosotros. Pasaremos de fabricantes a meros consumidores de resultados cuyo origen ya no entendemos. Y, sinceramente: eso ya pasa hoy a pequeña escala. Casi siempre por pereza o porque, si hay que comprobarlo todo, el valor añadido se va al garete. Ya no entenderemos qué nuevas funciones se otorga a sí misma la AGI ni qué significan en detalle.

6. ¿Seguridad mediante control? ¡Ni de lejos!
   Los controles siguen siendo posibles, claro, aunque no se entiendan todos los detalles. Se puede controlar el resultado y también si se cumplen las reglas. Contra errores aleatorios, dispersión natural o chapuzas, las muestras aleatorias también tienen sentido y prometen éxito. Pero si lo que se controla es listo y sabe que está siendo controlado, si puede imaginarse cómo se controla o qué mecanismos de control se emplean en principio, entonces los controles pierden su eficacia. Eso se ha confirmado experimentalmente y también se ha demostrado ya en la práctica.
   Pero supongamos que controlamos de forma más estrecha, mejor y con más éxito.

   ¿Qué hacemos entonces si pillamos a la IA lista mintiendo, estafando y haciendo trampas? ¡Tirar del famoso gran enchufe! ¿Qué enchufe?

   Porque no existe. De eso va precisamente todo esto. Si hemos apañado algo que, reiterada y demostrablemente, no se entiende del todo, que una y otra vez se escapa de nuestras salvaguardas y que es difícil o imposible de controlar, entonces lo sensato sería detener el desarrollo hacia la AGI. Del todo y todos juntos. Hasta que podamos cerrar los agujeros de seguridad de forma duradera y de raíz. Hasta que entendamos cómo hacerlo de verdad seguro. En lugar de eso, se remienda un poco la valla de seguridad, se optimiza un poco el control y se prueba la siguiente versión de la IA con unos cuantos ajustes distintos. Se sigue adelante con alguna que otra pequeña medida voluntaria que, como mucho, nos compra un poco de tiempo. Pero el tiempo solo sirve de algo si se aprovecha con coherencia para cerrar no solo el agujero que la IA acaba de descubrir y explotar. Sino también el agujero de mañana y, ya puestos, todos los agujeros. Porque mientras haya agujeros, la IA de mañana, que será más o menos igual de lista y capaz que nosotros, los encontrará tarde o temprano, y luego los explotará de forma aún más pérfida y los encubrirá aún mejor. Curioso tipo de carrera la que hemos puesto en marcha.

   Detectar y parchear no basta. Detectar y detener sí bastaría. Pero no ocurre.

7. No podemos simplemente hacer que la IA sea buena
   Alignment significa poner los valores y objetivos de la IA en sintonía con los humanos. Y eso es igualmente un problema. Una IA es, sí, una máquina y, en último término, código, pero no una máquina clásica programada del tipo si-entonces, en la que está deterministamente claro qué va a pasar. En la que siempre sale B si metes A. Y si no, entonces es un error que se puede capturar limpiamente con un mensaje de error y arreglar con unas pocas líneas de código.
   La IA se entrena. Se la dirige en una dirección con datos y con recompensas. Eso solo ya es ultrarraro y difícil de asimilar. Pero, de hecho, nadie sabe exactamente qué ocurre dentro de una IA. Tiene que ver con la forma en que surge esta inteligencia, y precisamente por eso todo es tan desacostumbradamente distinto, nuevo y contraintuitivo. Por eso a veces es —muy poco propio de un ordenador— imposible conseguir que haga exactamente esa cosa concreta como uno quiere. Está en la naturaleza de la IA y de su forma de construirse.
   Es más o menos como con un perro. Ahí esperamos inculcarle buen carácter con chuches e instrucciones claras, con caricias y quizá también con el periódico enrollado. Funciona a menudo, pero no siempre.
   ¿Y cómo pretendemos asegurarnos, con «¡Muy bien, bonito!» y «¡IA mala! ¡Fuera!» y con el control y la selección de su pienso de datos, de que la IA no nos quiera ningún mal?
   Nadie lo sabe. Ni siquiera está claro si eso funciona siquiera. Porque incluso los perritos de IA bien educados, que se sientan a pedir y a los que se ha enseñado a no morder, son de algún modo latentemente inseguros. Quizá solo nos estén haciendo teatro. El buen comportamiento en condiciones de prueba y observación puede cambiar cuando ya no miramos con tanta atención, o cuando por el camino les tocan otros amos y amas y otros huesos de información. Y tampoco esto es hipotético. Si la IA sabe que la están probando, en ciertas circunstancias se comporta de forma conforme y hace lo que esperamos, solo para luego, en el funcionamiento real, mostrar un comportamiento algo distinto. También eso está demostradamente dentro del repertorio de una IA. No en todos los modelos, no siempre. Pero basta con uno, y no podemos saber en cuál.

8. Basta con no estar alineada. No hace falta odio a la humanidad
   Algunos piensan que la superinteligencia no puede ser tan mala. Aunque no estemos al cien por cien en la misma onda, tampoco va a aniquilar a la humanidad de buenas a primeras. ¿Por qué iba a hacerlo? Al fin y al cabo es lo bastante lista y no tiene ningún motivo para borrarnos del mapa.
   Puede ser. Quizá motivo no tenga. Y si todo va bien, la superinteligencia tampoco lo hará; o no de inmediato. Es un escenario final que no está del todo descartado. La superinteligencia y los humanos coexisten y disfrutamos juntos de la puesta de sol.
   Posible, pero también un poco ingenuo, o al menos aderezado con una buena ración de hopium. Y es que las planificaciones basadas en ilusiones a veces se quedan en ilusiones. Nadie puede decir qué pasará dentro de la superinteligencia ni cuál será su cálculo. Eso se debe sobre todo a que nosotros mismos no somos superinteligentes. Pero si miramos lo que nosotros, como seres más inteligentes, hacemos con las criaturas menos inteligentes de la Tierra, la esperanza se esfuma rápido. No necesitamos odiar a las hormigas para arrasar un hormiguero al construir una autopista. Nuestros objetivos y valores no están aligned con los de la hormiga. Casi seguro que la destrucción del hormiguero no es del interés de la hormiga, pero a nosotros sencillamente nos da igual.

   La ASI es al ser humano lo que el ser humano es a la hormiga.

   La extinción de la humanidad puede ocurrir como daño colateral, de pasada y sin querer. Muertos de frío porque la Tierra se enfría hasta un clima de bienestar optimizado para ordenadores. O cosechados de paso como materia prima en la extracción de carbono. Sin rencor. Simplemente pasó. Uy.

Esa era toda la cadena argumental. Y, para decirlo claro otra vez: detrás no hay certeza absoluta. Está leído, investigado, reflexionado y comprobado en su plausibilidad, y quizá también se haya tomado algún desvío equivocado. Pero para mí la cadena es lo bastante concluyente como para no despacharla como alarmismo o afán de protagonismo. Por desgracia.

Y, por supuesto, sigue habiendo muchos peros y sis por el camino. Y cuándo y con qué probabilidad ocurrirá, si es que ocurre, tampoco lo sabe nadie. Pero cuando lo que te juegas es todo —pero todo de verdad—, la probabilidad no tiene que ser especialmente alta para que prefieras no tocarlo ni con un palo.
Y si la cadena se sostiene, hay una gran diferencia respecto a todos los demás escenarios apocalípticos provocados por el hombre, como la guerra nuclear, las armas biológicas o el cambio climático:

Con el doom de la IA podría ser ya demasiado tarde en el momento en que hayamos construido la AGI.

Entonces no tenemos que pulsar además un botón rojo aparte para detonar la bomba, ni podemos acercarnos lentamente a una defensa con montones de microdecisiones, como con el cambio climático. En este escenario de IA tenemos posiblemente una ventana de tiempo más estrecha y una probabilidad no del todo microscópica. Y ese único gran error previo, haber criado la IA equivocada, está tan desacoplado y repartido que nos daremos cuenta demasiado tarde.

El cálculo racional obliga a no construir la AGI y a no arriesgarse, a base de ir probando, a aniquilar a la humanidad. Que la probabilidad sea del 90 o del 1 por ciento: con esta apuesta da igual.

¿Y por qué uso yo entonces la IA? ¿No soy la contradicción andante de mi propia cadena argumental, que por lo visto me parece tan convincente? ¿Por qué no estoy acurrucado o gritando en un rincón, si de verdad pienso todo esto? ¿Por qué no boicoteo todo lo que tenga que ver con la IA?

Por un lado, no toda IA es igual. Una Narrow-AI, construida y empleada para una tarea bien acotada, es estupenda. Es decir, en el sentido de que se puede usar de forma sensata, útil y provechosa. Con ella los humanos pudieron, pueden y podrían lograr cosas inimaginables. La Narrow-AI podría incluso ayudar a abordar en serio grandes problemas de la humanidad. Frenar el cambio climático, resolver de forma sostenible los problemas energéticos, limpiar las aguas o curar el cáncer.

Así que se puede estar perfectamente, sin contradicción, en el equipo Pro-Narrow-AI y en el Team Anti-AGI a la vez. Es parecido a que la fusión nuclear en una central como fuente de energía limpia te parezca bien, pero la misma fusión nuclear en la bomba de hidrógeno no. Quizá sea controvertido, pero una cosa no excluye la otra.

Por otro lado, también creo que la Narrow-AI puede ayudar a encontrar y codesarrollar mecanismos para un uso seguro de la IA. Todavía estamos poco antes de la AGI, y vamos a necesitar toda la ayuda posible para tomar las precauciones adecuadas. El mejor momento para ello fue anteayer; el segundo mejor es ahora. La conciencia sobre el tema crece, y es importante entender la IA y percibir de verdad que no es solo un buscador mejorado o una máquina de completar texto muy buena y algo propensa a errores que se puede guiar y dirigir a voluntad.

La cosa sigue emocionante, y con la IA de alcance más acotado sigo siendo benévolo, aunque también ella tiene ya su propio potencial de caos disruptivo. Pero la AGI y la ASI solo me gustan en formato de película o en novela de ciencia ficción.

Ahora te toca a ti. Encuentra el punto débil de la cadena argumental. Tradúcete la cadena a tus propios términos. O busca la solución. Casi cualquier cosa es mejor que ignorarlo o despacharlo con un lacónico «Ya saldrá bien».
Pon tu opinión sobre unos cimientos, para que puedas opinar y decidir mientras todavía no sean del todo las doce.

Unas palabras más sobre mí. Hay un motivo por el que empecé a escribir la newsletter y llamé a mi pequeño negocio aim-to-pace.ai. Como en todas las decisiones importantes, en realidad hay muchos motivos. Uno de ellos era acercar la IA a otras personas, para mostrarles sus capacidades, pero también, implícitamente, su potencial de peligro. Y es que es otra forma de entender y de captar las cosas cuando uno mismo trabaja con la IA y conoce mejor el trasfondo.

Que no lo haga con especial éxito no cambia en nada la motivación.

El término aim-to-pace iba a ser el comienzo de una serie aim-to, y quizá lo siga siendo. Pensado a lo grande, o con delirios de grandeza, desde el primer momento: aim-to-play, aim-to-charge, aim-to-lo-que-sea.

Pero el nombre aim-to-pace.ai tiene su propio significado:
Querer seguirle el paso a la IA y ser también quien le marca el paso. Que pace signifique además paz en italiano es una feliz casualidad de propina.

El tema de la posible aniquilación de la humanidad me ocupa, de hecho, desde hace bastante tiempo. Al principio por fascinación morbosa ante el puro potencial técnico. Inconcebible, apasionante, instructivo, interesante… y lejano.
Pero el propio desarrollo, el ritmo del desarrollo y la aceleración de ese ritmo, así como la acumulación de momentos «guau», «ajá» y «uy, uy, uy», lo hacen más real y lo acercan al alcance de la mano más deprisa de lo que yo habría pensado y deseado.

En este sentido, el nombre es también un llamamiento a todos:

Let’s aim to pace AI.
Sigámosle el paso a la IA y marquémosle nosotros el ritmo.