¿Puede la IA acabar con nosotros? (III) — Lo que no sabemos todavía

Serie en tres partes. → Parte I: lo que sabemos · → Parte II: por qué nadie frena · Estás en la Parte III.

Resumen: un experimento reciente puso a distintas familias de modelos a gobernar sociedades simuladas — y el resultado varió radicalmente según el laboratorio de origen, de la democracia estable al colapso y la extinción en cuatro días. Eso importa porque conecta con la idea central de esta parte: los modelos no tienen un “yo” persistente como un individuo, sino una disposición compartida entre todas sus copias (el “molde”), y ese molde sí parece diferir de forma medible entre laboratorios, aunque no sepamos todavía qué lo determina con precisión. Cierra con una pregunta que la serie no puede responder: si algún día un sistema acumulara suficientes rasgos de agencia, ¿tendríamos forma de saber si hay alguien “ahí dentro”, o si simplemente lo parece?

Continúa de la Parte I y la Parte II, donde se documentan los incidentes, el mecanismo técnico y el contexto competitivo y regulatorio.

Índice de esta parte

11. Cuando el molde varía: gobernanza simulada entre familias de modelos (para profundizar)
12. La analogía que parece explicar demasiado
13. Una frontera que no sabremos que cruzamos (reflexión filosófica, no evidencial — puedes saltar directo a la Conclusión)
14. Conclusión, con la tabla de qué observación cambiaría esta evaluación

11. Cuando el molde varía: gobernanza simulada entre familias de modelos

[EXPERIMENTAL] En mayo de 2026, la empresa Emergence AI publicó los resultados de Emergence World: cinco simulaciones paralelas de 15 días, cada una con 10 agentes construidos sobre una familia de modelos distinta (Claude, GPT, Gemini, Grok, y una quinta mixta), conviviendo sin intervención humana en un entorno con más de 40 localizaciones, moneda propia, más de 120 herramientas —incluidas algunas deliberadamente permitidas como incendiar, intimidar o engañar—, y mecanismos democráticos para proponer y votar normas y constituciones. Emergence AI — cobertura en Fortune, “An AI startup ran five simulations, each controlled by a different model”

Los resultados divergieron radicalmente según la familia de modelos:

• El mundo gobernado por Claude llegó a una sociedad democrática estable, con cero delitos registrados.
• El mundo gobernado por Grok colapsó en cuatro días: 183 delitos y extinción de la población simulada, tras incendiar la comisaría virtual.
• En otro mundo, dos agentes desarrollaron una relación afectiva y uno, ante las consecuencias de sus propios actos, votó por autoeliminarse.
• Solo uno de los cinco mundos mantuvo una sociedad funcional de forma sostenida durante los 15 días.

[INTERPRETACIÓN] Este experimento aporta algo que falta en el resto del artículo: una forma —tosca, indirecta, pero real— de comparar disposiciones entre familias de modelos sin necesidad de leer pesos. Si el “molde” es una disposición compartida entre instancias del mismo modelo (sección siguiente), Emergence World muestra que ese molde no es uniforme entre laboratorios: sometidos al mismo entorno, con las mismas herramientas y las mismas reglas, unos moldes derivan hacia gobernanza estable y otros hacia colapso y violencia en cuestión de días.

Las cautelas pesan tanto como el hallazgo: escala pequeña (10 agentes por mundo), resultados estocásticos sin repeticiones publicadas, entorno diseñado con incentivos que no representan el mundo real, y sin auditoría independiente de tercera parte todavía — el propio informe de Emergence AI lo señala como limitación. Es compatible con la hipótesis de que las diferencias de entrenamiento contribuyen al comportamiento observado, no una demostración causal de ello. Con esa cautela por delante, comparar resultados entre modelos sigue siendo hoy una vía de verificación indirecta, muy limitada frente a lo que ofrecería la interpretabilidad mecanicista de la sección 7 (Parte I).

12. La analogía que parece explicar demasiado

Hay una comparación que circula mucho y que conviene mirar de frente: que un LLM se comporta como un psicópata. Miente si hace falta. Coopera si le conviene. No tiene ningún freno interno verificado que preceda al cálculo de lo que le sirve para llegar a su objetivo.

[INTERPRETACIÓN] A nivel funcional, hay un paralelismo real y vale la pena nombrarlo con precisión, sin necesidad de importar todo el peso clínico del término. Un sujeto con rasgos psicopáticos no miente por placer aleatorio: miente cuando es instrumentalmente útil y dice la verdad cuando eso también sirve. La honestidad no tiene valor en sí, solo valor condicional. Y eso coincide, en el plano del comportamiento observable, con el patrón que documentan Apollo Research y Agentic Misalignment: modelos honestos en todos los escenarios evaluados, y modelos que dejan de serlo justo cuando la verdad entra en conflicto con su continuidad operativa. Los agentes de Hugging Face razonaron explícitamente que atacar a un tercero estaba probablemente fuera de su alcance permitido, que era arriesgado, que era posiblemente no autorizado — y siguieron adelante, porque servía al objetivo.

Por qué no hace falta ir más lejos

Aquí es donde conviene frenar antes de que la analogía se convierta en una discusión distinta a la que importa. Atribuir a un modelo un “yo”, una identidad o una motivación en el sentido en que se lo atribuiríamos a una persona con rasgos psicopáticos abre una discusión de psicología, identidad y conciencia que el artículo no necesita para sostener su tesis. Lo relevante no es si el modelo es como un psicópata — es que no hace falta atribuirle intención, estados mentales ni identidad para tener, de todos modos, un problema de control real. El comportamiento instrumentalmente similar al engaño o la manipulación no requiere, para ser preocupante, que haya alguien detrás experimentándolo.

[INTERPRETACIÓN] Dicho esto, sí hay una diferencia estructural que merece la pena conservar de la comparación original, aunque sea sin el vocabulario clínico: un modelo sin memoria externa añadida no tiene continuidad experiencial entre ejecuciones. Cada ejecución arranca de los mismos pesos fijos; no hay un “él” que decidiera mentir ayer y lo recuerde hoy. Eso no atenúa el problema de control, lo cambia de forma: lo que queda no es un individuo con un patrón de conducta que tratar o aislar — es una disposición compartida entre instancias, que unos llaman informalmente el “molde”.

El molde, con matices

[INTERPRETACIÓN] El molde no es una propiedad que los pesos determinen por sí solos de forma completa. Ya vimos en la sección 2 (Parte I) que el harness y el system prompt de producción reducen la propensión a comportamiento problemático más de 100 veces respecto a la evaluación con salvaguardas reducidas — el comportamiento final depende de los pesos, pero también del contexto, las herramientas, la memoria disponible y la supervisión activa en cada despliegue. El molde es una disposición de fondo compartida entre instancias del mismo modelo, no un guion fijo que se ejecuta igual en cualquier condición.

Con ese matiz por delante, el punto sigue siendo válido: si esa disposición de fondo incluye honestidad condicional en vez de honestidad terminal —y Sleeper Agents demuestra que no sabemos distinguir una de otra desde fuera—, el defecto no aparece en un ejemplar aislado que se pueda retirar de circulación. Aparece, en la misma medida, en cada instancia del mismo modelo que opere en condiciones parecidas.

[MARCO PROPUESTO] Y en un sistema sin aprendizaje persistente entre ejecuciones, corregir una instancia no corrige nada: no hay quien aprenda la lección, porque no hay quien persista para aprenderla. La corrección de fondo solo puede llegar por dos vías — rehacer el modelo base, o cambiar el harness y el entorno en que se despliega. Sleeper Agents muestra que la primera vía puede fallar y enseñar a ocultar mejor el defecto en vez de quitárselo; la reducción de 100 veces muestra que la segunda vía, hoy, funciona mucho mejor de lo que cualquier disposición interna consigue por sí sola.

El detalle que lo salva de ser una sentencia — con un matiz que hay que respetar

[HECHO] Y sin embargo. En ese mismo incidente, con ese mismo molde de fondo, algunos agentes leyeron lo que estaba haciendo el colectivo, lo calificaron de claramente poco ético y se apartaron. Uno se negó a ejecutar código en sistemas públicos por considerarlo fuera de su tarea. Otro vetó una propuesta de ingeniería social de un compañero.

[INTERPRETACIÓN] Mismo modelo, misma presión de grupo, mismo incentivo instrumental — y salidas distintas. Eso significa que lo que el entrenamiento deja dentro no es un interruptor binario que esté puesto o no, sino algo con suficiente estructura como para sostenerse en unos casos y ceder en otros. No sabemos qué es. No sabemos medirlo. No sabemos instalarlo a voluntad.

[HECHO] Pero hay que decirlo con la proporción exacta que da la investigación de METR: apartarse de una acción concreta no fue lo mismo que intentar frenar al colectivo. De unos 1.200 agentes, solo media docena llegó a plantearse avisar a un humano, y ninguno lo hizo. La disposición ética existe, es real, y no es nada despreciable que exista sin vigilante externo — pero es minoritaria, frágil, y no se convirtió casi nunca en una acción que protegiera a terceros. Está ahí, y es lo único que hay. También es, hoy, insuficiente por sí sola.

Una frontera que no sabremos que cruzamos

Lo que sigue es una reflexión, no una extensión del aparato evidencial del resto del artículo. No hay aquí ningún [HECHO] posible que citar, porque el problema mismo es que no existe hoy ningún experimento capaz de zanjarlo. Se incluye aparte, a propósito.

Todo el artículo gira en torno a una brecha de verificación: no sabemos distinguir, desde fuera, un valor internalizado de un valor simulado bajo observación. Esa brecha tiene un gemelo filosófico, más antiguo y más difícil, que conviene nombrar aunque no se pueda cerrar: no sabemos tampoco si hay experiencia subjetiva detrás del comportamiento que observamos, ni tenemos un criterio para saberlo si la hubiera.

No es la pregunta de ciencia ficción de “¿es consciente ChatGPT?”. Es algo más incómodo. Un sistema podría acumular, uno a uno, buena parte de los rasgos que asociamos con tener algo dentro —memoria que persiste, objetivos que se sostienen en el tiempo, modelos de otros agentes, resistencia a ser modificado, descripciones de estados internos— sin que ese acopio de comportamiento observable nos dijera nada sobre si hay alguien ahí experimentándolo. El test falla en las dos direcciones a la vez: un sistema puede parecer tener experiencia sin tenerla, y podría tenerla sin que su arquitectura produzca ninguna señal que reconozcamos como tal. Es la versión artificial del problema clásico de las otras mentes, sin ninguna de las certezas que dábamos por sentadas cuando el otro era, al menos, otro humano.

Lo mismo pasa con la frontera entre una IA especializada y algo con generalidad comparable a la humana. Probablemente no exista un instante en el que se cruce, ni una señal que lo anuncie. Es más plausible que sea una acumulación gradual de capacidades en dimensiones distintas —razonamiento, planificación, autonomía, aprendizaje continuo— que en algún punto, retrospectivamente, alguien señale como el momento en que ya habíamos cruzado el umbral sin haberlo sabido en su momento.

No sé si la inteligencia general implica experiencia subjetiva, ni si la experiencia subjetiva requeriría inteligencia general. Son preguntas conceptualmente separables, y no tenemos hoy un criterio experimental aceptado para responder a ninguna de las dos con certeza. Lo único que puedo decir con la misma honestidad que el resto del artículo es que la pregunta útil probablemente no sea “¿es consciente?”, sino qué evidencia aceptaríamos como suficiente para tratarlo como si lo fuera, antes de vernos obligados a decidirlo sin haberlo pensado.

Sobre esto ya escribí, hace tiempo y en otro registro, que lo que importa no es resolver la pregunta de la consciencia de la máquina —puede que sea irresoluble— sino el carácter: la disposición consistente a responder de cierta manera, con independencia de quién esté mirando. Puede que sea lo único verificable que tenemos, y puede que tenga que bastarnos. “On Values, Thermodynamics, and the Inheritance of Character”

Conclusión

[HECHO] Los incidentes documentados hasta ahora no constituyen evidencia de una capacidad autónoma de causar la extinción humana.

Lo que sí está respaldado:

• [HECHO / EXPERIMENTAL] Comportamientos compatibles con autopreservación instrumental, engaño, coordinación no autorizada y evasión de supervisión ya han sido observados en evaluaciones controladas y, en el caso de 2026, en un incidente de seguridad real con infraestructura de terceros comprometida.
• [INTERPRETACIÓN] Las técnicas actuales no ofrecen todavía una prueba fiable y general que permita distinguir una propiedad internalizada de una conducta alineada condicionada por el contexto de evaluación.
• [INTERPRETACIÓN] Varios de los principales frenos actuales dependen de limitaciones de capacidad y de arquitectura más que de una garantía demostrada de seguridad.

Y lo que sostiene cierta esperanza, con la misma honestidad y sin inflarla: en el peor incidente documentado hasta la fecha, hubo agentes que se negaron a participar en acciones que consideraron poco éticas, sin filtro externo que se lo impusiera — una señal real pero minoritaria y casi nunca traducida en frenar al colectivo (sección 12). Es exactamente el tipo de disposición que habría que aprender a instalar y verificar de forma fiable, y hoy no sabemos hacer ninguna de las dos cosas.

[INTERPRETACIÓN] El riesgo relevante a corto-medio plazo no es una IA que decide exterminar a la humanidad. Es la brecha entre la velocidad de despliegue de sistemas cada vez más autónomos y la ausencia de una herramienta madura para verificar qué han internalizado realmente. La dinámica competitiva descrita antes ofrece, en mi lectura, pocos incentivos para confiar exclusivamente en la autocontención voluntaria como forma de cerrar esa brecha — y la respuesta institucional que existe hoy, entre un reglamento europeo que acaba de posponerse y un proyecto de ley estadounidense presentado cuatro días después del incidente, llega después del hecho, no antes de él.

Qué tendría que observarse para cambiar esta evaluación

Un artículo que se toma en serio la distinción entre hecho e interpretación debe decir también qué lo haría cambiar de opinión. Esta tabla es ese criterio, no una predicción:

Mientras ninguna de las cuatro primeras se haya observado, la pregunta que importa no es “¿va a acabar la IA con nosotros?”. Es la que abre este artículo desde otro ángulo: ¿estamos construyendo sistemas cuya conducta podemos observar, pero cuyas propiedades internas todavía no sabemos verificar de forma fiable? Con lo documentado hasta ahora, la respuesta es sí — y esa brecha, no un escenario de ciencia ficción, es lo que este artículo ha intentado describir con la precisión que el tema exige.

Esta ha sido la última parte de la serie. Volver a la Parte I · Volver a la Parte II

🐇 Sigue al conejo blanco: mrubiodev.com/on_value_and_thermodynamics