La IA es maestra de todas las clases de error

Aceptar el error como algo inevitable. De verdad, en el fondo. ¡Hecho! Y entonces aparece un joven hiperactivo y superlisto que pisa a fondo en YouTube o te suelta un kilo de Insta en las narices, ofreciéndote el remedio milagroso universal y multiusos contra la incurable erroritis de la IA. Eso no deberíamos aceptarlo sin más.

No me malinterpretes: ese tipo de cosas las veo con gusto, hay mucho de útil ahí dentro, y un poco de ruido forma parte del oficio.

Pero seamos sinceros.

• Con este truco la IA ya no comete errores
• Así obligas a Claude a decir siempre la verdad
• Solo el 0,000000001 % de la gente usa este hack de adivino

¿Cómo pueden afirmar eso, si la solución para lidiar con los errores de la IA la tengo yo, y solo yo? Y para mí personalmente, de hecho, la tengo. No como la única ley que vale para todo, el único truco que siempre funciona. Porque ese no existe. No es que Google, OpenAI y Anthropic lo hayan implementado de forma chapucera. Y nadie lo consigue con un hack o un truquito. Los errores de la IA son sencilla y fundamentalmente inevitables. Vale para nuestros semejantes y para todas las demás inteligencias con las que convivimos: animales, IAs y demás alienígenas.

Si evitarlos no se puede, entonces más vale gestionarlos lo mejor posible. Y ahí hay principios y métodos a la altura del núcleo del problema. Más a la altura, al menos, que cualquier milagro de un solo clic, que funciona tan bien como cualquier otro móvil perpetuo. No le deseo ningún mal al colega, que hace vídeos bastante buenos y con éxito, pero ofrece un medicamento sin explicar la enfermedad. El problema: incluso hace efecto, lo que no lo vuelve inofensivo. Genera dependencia, porque deja al consumidor sin información. El prospecto falta por completo.

La promesa de que algo ayude infaliblemente y siempre contra todos los errores es curanderismo de los tiempos modernos.

Pero sobre todo te mece en una falsa seguridad, precisamente porque sí funciona, suena lógico y contiene un enorme fondo de verdad.

Lo explico con un ejemplo concreto. El youtuber en cuestión apuesta fuerte por un sistema basado en skills que hace pasar la respuesta de Claude por la picadora de 10 —en letras, diez— agentes. Un agente repiensa la pregunta desde cero, otro la prueba en un contexto distinto. Uno hace de abogado del diablo. Otro más verifica o falsa las afirmaciones. Uno niega la pregunta y pide lo contrario, y más maniobras. Y cuando los 10 agentes han terminado, la respuesta está libre de errores. Eso es lo que se afirma, al menos.

Pero lo contrario de bueno es justamente bienintencionado. Y los 10 agentes, por separado, son correctos y tienen su lugar legítimo en la lucha contra los errores de la IA. Se pueden e incluso se deben combinar. Pero echarlo todo a una batidora, darle un buen meneo y vender eso como la solución contra los errores es deshonesto — y, visto en sí mismo, irónicamente un error sistemático.

Aquí mi razonamiento de por qué estoy en contra de este tipo de solución todo en uno.

1. No es económico. No soy partidario de insistir en el ahorro de tokens. No porque me guste tirar el dinero por la ventana, sino porque el ahorro tiene que venir después. Cuando aprendes a conducir —donde converge todo: normas de tráfico, movimientos poco habituales, rendimiento situacional y reactivo al máximo— tampoco ayuda meter ya en las primeras clases prácticas el ahorro de combustible y olvidarse por ello del intermitente o del ángulo muerto. Eso podrá ser tema más adelante, cuando ya sabes conducir. Así que este es realmente mi argumento más flojo contra el terminator de errores de 10 agentes. Pero soltar 10 agentes sobre cualquier problemilla de nada es pasarse de verdad.
2. Te mece en una falsa seguridad. Al dar la impresión de ser la solución sencilla e infalible —¡que justamente no es!— lleva a descuidar el deber de diligencia y la comprobación del resultado. Sobrecompensación del riesgo. Con lo cual el sistema en su conjunto acaba, según el caso, en un nivel de riesgo incluso mayor, porque la última instancia de control simplemente se omite o resulta demasiado endeble.
3. Es falso. El argumento decisivo e indiscutible que cierra el debate. No puede en absoluto evitar todos los errores. No se puede. Todos desde luego que no, y de esta manera tres veces menos. Porque los agentes están correlacionados, es decir, no son independientes: son de la misma factura. Diez artículos del mismo periodista de investigación en distintos medios tampoco hacen su historia más verdadera. Controlarse a uno mismo es mejor que no controlar en absoluto, pero desde luego no es —en el sentido de una garantía científica real— un sistema libre de errores. Y ese es el gran problema de verdad que tengo con esto. Sistematiza ese error y vende el resultado como libre de errores. Publicidad engañosa es lo más suave que se me ocurre.

Pero basta de quejarse de lo que los demás no hacen a la perfección. De lo que se trata, en realidad, es de conseguir un sistema global lo más libre de errores posible, ya que el LLM por sí solo no puede. Un sistema en el que la IA aporte su valiosa parte.

¿Y cuál es entonces mi sistema tan estupendo que lo mejora todo? ¿Por qué vale más mi método, y dónde y cómo puede uno comprobarlo por sí mismo, señor Sabelotodo? Señor Listillo, es su turno.

Con mucho gusto.

Paso 1: comprensión de fondo Espero haberla construido en mi último post. Léelo si aún no lo has hecho, o créetelo sin más. Un algo que aprende —humano, animal o máquina— tiene que cometer errores, si no, sería incapaz de aprender. Así que eliminar los errores del todo, para siempre y en todas partes, es un callejón sin salida. Punto y zanjado.

Paso 2: encontrar analogías La IA sabe aprender y comete errores. Pero con seres humanos capaces de aprender y propensos al error ya nos apañamos de maravilla. Nos hemos entrenado y optimizado sobre nosotros mismos durante bastante tiempo.

Solo un pequeño extracto de las flechas que tenemos en el carcaj contra los errores. Todas reales y en uso concreto. Y hay muchas más:

[Este párrafo está generado por IA — inicio]

Poka-yoke, patito de goma, hombre muerto, principio de los cuatro ojos, canary, shisa kanko, queso suizo, pre-flight check, cuerda Andon, smoke test, red team, unión de forma, checklist, fail fast, read-back, interlock, dry run, kill switch, control de plausibilidad, pair programming, sterile cockpit, watchdog, regla de consultarlo con la almohada, dígito de control, abogado del diablo, rollback, point-and-call, mando a dos manos, pre-mortem, muestreo, jidoka, refrendo, chaos engineering, cálculo aproximado, buddy system, forcing function, arqueo de caja, guardrails, ensayo general, two-man rule, suma de dígitos, margen de seguridad, heartbeat, prueba de regresión, cinturón y tirantes, dual control, sanity check, 5-why, stage-gate, cálculo hacia atrás, circuit breaker, cooling-off, crew resource management, copia de seguridad, fishbone, tripwire, test A/B, redundancia, checksum, AMFE, notificación de cuasi-accidentes, safe defaults, conciliación, blameless postmortem, detección de deriva, sign-off, defensa en profundidad, cultura del speak-up, graceful degradation, just culture, feature flag, inspección visual, fail safe, debriefing, deshacer, inventario, alarma de umbral, ITV

[Este párrafo está generado por IA — fin]

Paso 3: simplificar y trasladar Tomemos lo que nosotros los humanos hemos elaborado como armamento contra los errores y trasladémoslo a la IA, prestando especial atención a las pocas peculiaridades de la IA que no son típicamente humanas. No hace falta comprobar y adaptar cada procedimiento uno por uno para ver si sirve con IA. Pero los principios de fondo tras la larga lista se pueden reducir a unos pocos, a lo largo de tres preguntas:

• ¿Cómo evito los errores?
  • Hacer imposible el error (poka-yoke): donde sea posible, la palanca más potente, por supuesto — no interceptar el error, sino excluirlo por construcción. El enchufe que solo entra en un sentido.
  • Simplificación: si se puede hacer más sencillo, hazlo más sencillo. Cada pieza superflua es una fuente de error adicional; los estándares y la automatización hacen limpieza.
• ¿Cómo detecto los errores?
  • Redundancia: plantear la misma pregunta en contextos independientes. Si varias vías independientes cometen el mismo error, es improbable; si cometen errores distintos, salta a la vista.
  • Verificación: incorporar la comprobabilidad desde el principio, no esperarla después. Lo que no se puede comprobar tampoco se puede corregir.
  • Fallar pronto y pequeño: pasos pequeños, retroalimentación rápida. El mismo error, al cabo de una hora, es una corrección; al cabo de tres meses, una catástrofe.
  • Competencia: el ser humano conserva la responsabilidad —y con ella la capacidad de reconocer errores. Quien solo firma desaprende a comprobar; la fatiga del control afecta igual a expertos y a legos.
• ¿Cómo sobrevivo a los errores, o cómo los manejo?
  • Limitación del daño: si el error ocurre de todos modos: mantener el efecto pequeño y poder deshacerlo. El aislamiento limita el daño en el espacio, la reversibilidad en el tiempo — un error reversible es un momento de aprendizaje, uno irreversible es un daño.
  • Cultura del error: tratar los errores abiertamente en lugar de sancionarlos. Quien esconde los errores no impide el error, solo el aprendizaje que se saca de él.

Y una parte de todo esto se puede aplicar directamente y sin problema en el prompting cotidiano. Sencillo, concreto, eficaz.

Simplificación — corta el elefante en rodajas La IA es generalista y sabe hacerlo todo bastante bien, pero no todo bien a la vez. La solución está muy cerca. Porque la IA también es especialista, basta con decirle que lo sea — y de pronto tienes un equipo de especialistas al que «solo» hay que orquestar. Así que en lugar de meterlo todo en un prompt gigantesco, empaquétalo en pequeños paquetes optimizables. Un poco de «¿y si dejara que lo hiciera una empresa entera?». Explicado con el ejemplo concreto de mi proceso editorial. Escribo y publico más o menos con regularidad esta newsletter de Substack que estás leyendo. Y sí, lo escribo todo yo mismo y son mis palabras y mis frases. Pero la IA me ayuda, por supuesto. Por un lado en la investigación. Tengo una idea o un pensamiento que quiero desarrollar. Reúno información y la agrupo. A veces hasta el punto de construir una web entera — un efecto secundario del proceso de la newsletter. Luego lo escribo del tirón. Así, con una cantidad espantosa de erratas, lagunas de verdad e inversiones. Las meras erratas las arregla mi cleaner de IA — solo errores reales, y es el único que puede modificar el texto directamente. Solo entonces reúno el valor de dárselo a mi coach de IA. No ajusta nada, pero comenta. ¿Se sostiene la historia? ¿Tiene sentido en conjunto? ¿Qué es demasiado largo o demasiado enrevesado? ¿Dónde se rompe el hilo conductor que nunca existió? Qué está especialmente bien y qué es más bien basura. Da consejos que puedo incorporar, pero no tengo por qué. Puede llevar unas cuantas iteraciones, pero desde luego ayuda a ordenar los propios pensamientos. Y cuando termino con eso, pasa al corrector de IA. Las erratas nuevas ahí son lo de menos; él comprueba legibilidad, corrección, estilo, tono, estructura, etcétera. También consejos, pero más bien una lista para que yo la vaya despachando, porque son errores o tropiezos de verdad. Y luego va al closer de IA. Ese lo deja listo para Substack. Mecánicamente. Y ahora que lo releo pienso: genial. Esto tiene que ir como un reloj y generar solo newsletters geniales y perfectas. Pues no. Pero lo que queda de errores, enredos y afirmaciones falsas en el resultado final, eso es estilo.

Simplificación — hazlo siempre igual donde puedas Los estándares ayudan. Dumb it down. Se traslada estupendamente también al equipo. Un error que cometen todos es mejor, porque se detecta con más facilidad y se resuelve de forma más duradera. Pero sobre todo, el estándar evita los errores por descuido o falta de atención. Donde se pueda, la calidad no debe depender de la persona o la IA que lo haga. Usa un esquema, usa un método. Define estándares de calidad. En la salida o en el prompt. Mi estándar es un prompt pattern y un método de generación de prompts.

Redundancia Hacer lo mismo otra vez, pero de otra manera y sobre todo en otro sitio. Tres ventanas de chat en paralelo son ya casi el estándar en mi caso. En una preparo y monto el terreno. Pongo los datos en orden, investigo, aclaro y afino lo que realmente quiero. En la segunda hago lo mismo otra vez con otra IA, o vuelvo a desmontar los resultados del chat 1 — partiendo de la premisa de que todo en él está mal: abogado del diablo, red team, steelman. Si hace falta, porque es demasiado largo o complejo, en la tercera ventana hago que se determine, analice y valore el delta entre los dos chats.

Verificación Lo ideal es encargarle a la IA solo tareas que también se puedan verificar con facilidad. O sea, probar y comprobar debería salir más barato que hacerlo uno mismo desde el principio. Así que recalcular resultados. Muestrear las fuentes citadas. ¿Arranca el programa sin errores? ¿Funciona la función principal?

Competencia Quien haya estado atento se habrá dado cuenta de que mis ejemplos de redundancia y verificación son la versión aburrida y supuestamente peor de nuestra magia de 10 agentes en un clic de antes. La diferencia: en medio sigo estando yo como competencia. Puedo controlar y optimizar cada paso. También puedo automatizar caso por caso, tanto como quiera. Y puedo usar datos distintos o LLM distintos. Hacer la comprobación de forma holística o por muestreo. El punto decisivo es que respondo de todas las salidas correctas y buenas de la IA, pero también de todos sus errores. Por eso dirijo yo el cómo, el dónde y el cuánto. Y eso, de paso, me mantiene competente y preparado para la siguiente tarea que quiera optimizar con IA.

Trasladar el poka-yoke, la limitación del daño y la cultura del error es menos directo e inmediato, aunque representan una palanca enorme. A lo mejor tú encuentras un truco de poka-yoke ingenioso, o consigues establecer una cultura del error para la IA. Me interesarían mucho tus ideas.

Aún me quedan, eso sí, unos cuantos antídotos concretos y específicos de la IA. Conociendo, pues, los puntos débiles de la IA:

• Un chat puede estar quemado. La IA alucina, da vueltas en círculo, se contradice, aunque al principio fuera de lo más razonable. Caso claro: context distraction … no seguir esperando a que mejore o a que aún se pueda convencer a la IA. Salvar lo que se pueda: pedirle un resumen del chat y empezar con él de cero en una ventana sin estrenar. Y lo mejor: la cosa funciona también de forma proactiva. Pasada cierta duración o extensión del chat, pedir simplemente un resumen y seguir en el siguiente. Ahorra frustración.
• Quedarse en un tema. A mí me gusta divagar, y un pensamiento a veces trae otro en un contexto completamente distinto. ¿Y por qué no seguir chateando sin más? Al fin y al cabo la IA responde obediente y te sigue la corriente. Es una trampa engañosa. Así que: pensamiento nuevo o tema nuevo significa ventana nueva.
• Un poco de disciplina de radio. Por un lado soy un gran defensor de no adaptar el propio lenguaje y la propia forma de pensar a la IA, y de dar más información de la que uno mismo considera necesaria. Y de confiarle a la IA desde el principio más de lo que uno esperaría de una calculadora. Pero tampoco conviene ponerse a divagar sin fin.

El objetivo no es la máquina sin errores. El objetivo es un sistema que cometa los errores correctos, aprenda de ellos e impida que los equivocados se propaguen y se conviertan en errores sistemáticos.

Una nota en mi propio nombre: Escribo mis posts yo mismo, con las palabras que salen de mi cabeza. La IA me ayuda en la investigación, como asesora y en la corrección técnica. Pero el post sale de mí, de mí como ser humano. Las imágenes están todas generadas por IA, y mi web la creo y la cuido con Claude — en gran parte también en cuanto a contenido. En mi newsletter, en el marco de la campaña de transparencia, marcaré claramente como secciones generadas por IA los pocos pasajes de texto (sobre todo enumeraciones o peroratas, por el chiste) — también de forma retroactiva. Es decir: lo que no esté marcado es mío. Soy así. Lo juro.

Del todo libre de errores no se puede. Tampoco con grandes sistemas que minimizan errores. No pretende sonar sarcástico, pero si algo así existiera ya lo habríamos implantado hace mucho — contra los accidentes de avión, las gasas olvidadas en cirugía abdominal, la catástrofe nuclear. Y no, eso no se despacha invocando el factor humano, ni desaparecerá por principio con el factor IA. Los errores forman parte. Más raros, menos drásticos en sus efectos, controlables cuando ocurren: esos son los objetivos de verdad. Y son alcanzables.

Aspirar a cero errores se puede, claro. También se vende mejor que «aspiramos a solo un accidente aéreo catastrófico al año». Todo el mundo quiere cero, para siempre. Pero querer no basta. Ya hemos mejorado enormemente: de hasta 100 accidentes al año a un puñado, y eso con un tráfico masivamente mayor. Quizá lleguemos a un accidente cada dos años. Cada diez. No se trata de las cifras — y sin embargo sí. Porque a partir de cierto punto la siguiente mejora ya no es razonablemente —en sentido económico— alcanzable.

Y ahora la parte incómoda. No quiero despotricar contra las aerolíneas. Pero todas esas precauciones de seguridad no existen porque en el consejo de administración se sienten únicamente filántropos moralmente equilibrados. Una motivación principal: ningún directivo quiere ver un reportaje en el telediario de máxima audiencia que muestre el logotipo de su propia empresa en la cola de un fuselaje en llamas. Eso tiene efectos muy directos sobre el balance anual y sobre el próximo bonus. Claro, proteger vidas está bien y se vende de maravilla. Win-win. Pero la seguridad de la aviación no es ni casualidad ni virtud: es también una propiedad del sistema mediático. Un accidente mata a mucha gente de golpe, en un solo sitio, con un logotipo en la cola. Eso es una semana de auténtica antipublicidad para la empresa.

La prueba más limpia de esto, por cierto, vuela justo al lado de las aerolíneas: la aviación general. Misma aerodinámica y misma física, misma atmósfera, mismo país, misma autoridad supervisora, en parte los mismos aeródromos. Pero por hora de vuelo la aviación privada es muchas veces más peligrosa que el vuelo de línea — en cuanto a riesgo, más cerca de la moto que de un A320. Y eso ha mejorado solo marginalmente en 40 años, al menos en comparación con la aviación comercial, que se volvió constante y rápidamente más segura. ¿A qué se debe? No a la falta de conocimientos. Los métodos —disciplina de checklists, formaciones obligatorias, análisis sistemático de errores— son conocidos y serían trasladables. Simplemente no se aplican. Porque una Cessna estrellada con dos muertos es una noticia regional, no un tema de portada. Sin logotipo en la cola, sin ningún grupo empresarial temblando, sin presión. Todo igual — salvo la visibilidad. Y el resultado difiere en dos órdenes de magnitud.

O toma la medicina. Los errores de tratamiento evitables en los hospitales alemanes cuestan —según la estimación, y las cifras son discutidas— cada año un múltiplo de todos los muertos en carretera. Para cada accidente aéreo hay una investigación independiente obligatoria. Para la gasa olvidada hay: nada comparable. La misma sociedad humana, el mismo valor de una vida humana, un régimen de visibilidad completamente distinto. Adivina dónde muere más gente. Y con una probabilidad que roza la de la seguridad aérea, aquí se podrían conseguir mejoras que salvan vidas.

Los errores forman parte. Evitarlos es importante y correcto. Querer erradicarlos o descartarlos categóricamente como un mantra es utópico — y quien te promete cero te está vendiendo marketing, no un sistema. Esa es la verdad científica. Pero detrás de los errores hay también una economía humana o inhumana. Y en caso de duda, esa no se detiene ni ante la vida.

Durante mi investigación me enamoré del principio de castigar el encubrimiento de los errores, y no el hecho de cometerlos. Suena tan bien que podría funcionar. Al menos parece ser la mentalidad correcta, y en las aerolíneas se vive de verdad.