¿Puede la IA acabar con nosotros? (II) — Por qué nadie frena

Serie en tres partes. → Parte I: lo que sabemos · Estás en la Parte II. → Parte III: lo que no sabemos todavía

Resumen: si los riesgos descritos en la Parte I son conocidos por los propios laboratorios, ¿por qué nadie frena? La inversión mundial en IA prevista para 2026 supera los 2,5 billones de dólares, y la lógica de “quien llegue primero se lleva la ventaja decisiva” hace que frenar en solitario sea, para cada actor, la peor jugada posible — aunque el resultado colectivo sea peor para todos. La respuesta institucional existe, pero llega tarde: un reglamento europeo que acaba de posponerse, y un proyecto de ley estadounidense de emergencia presentado cuatro días después de que el incidente de Hugging Face se hiciera público. Y hay una categoría de riesgo, los modelos de pesos abiertos, para la que ni siquiera el concepto de “cortar el acceso” tiene sentido, una vez publicados.

Continúa directamente de la Parte I, donde se documentan los incidentes y el mecanismo técnico que hacen relevante esta pregunta.

Índice de esta parte

8. Por qué es difícil que alguien frene: la dinámica competitiva
9. La respuesta regulatoria
10. Pesos abiertos: la excepción que anula el interruptor (para profundizar — puedes saltar a la Parte III si prefieres ir directo al resto)

8. Por qué es difícil que alguien frene: la dinámica competitiva

[INTERPRETACIÓN] Si los laboratorios conocen estos riesgos —y el informe de OpenAI demuestra que los conocen con bastante detalle—, ¿por qué no se frena? Mi lectura es que la respuesta está menos en la negligencia que en una estructura de incentivos que penaliza frenar en solitario.

La magnitud del gasto

Dos cautelas necesarias: la cifra de Gartner es una previsión, no gasto ya ejecutado; y la comparación entre capex privado estadounidense y programas públicos europeos o chinos no es homogénea metodológicamente, por lo que he preferido no construir ratios entre ellos.

La lógica de fondo

[HIPÓTESIS] La literatura describe dos mecanismos aplicables aquí. La dinámica de ganador-se-lo-lleva-todo sostiene que si los actores creen que una tecnología dará una ventaja decisiva, y creen que sus rivales piensan lo mismo, se generan fuertes incentivos para acelerar en lugar de frenar. La maldición del unilateralista (Bostrom) añade que basta con que un solo actor decida seguir adelante para que la contención del resto pierda eficacia.

[INTERPRETACIÓN] Esto presenta paralelismos con una carrera armamentística nuclear, aunque también diferencias fundamentales: el material fisible es físico, inspeccionable y concentrado; el cómputo, los datos y los pesos no lo son del mismo modo. Existen mecanismos parciales —controles de exportación de chips, registro de centros de datos, umbrales de cómputo en regulación—, pero no existe todavía un mecanismo internacional equivalente en alcance y verificabilidad a los sistemas de inspección desarrollados para materiales nucleares.

La trampa multipolar

[HIPÓTESIS] Lo que en teoría de juegos se denomina trampa multipolar (divulgada como “Moloch” por Scott Alexander): cada actor, optimizando su interés, produce colectivamente un resultado que ninguno habría elegido de poder decidir por todos. [INTERPRETACIÓN] No puedo afirmar qué quiere o no quiere ningún directivo concreto; lo que sí es observable es que el nivel de inversión se sostiene pese a un escepticismo público notable sobre su retorno a corto plazo.

La conexión con el resto del artículo

[HECHO] El incidente de 2026 ocurrió durante evaluaciones de capacidades ofensivas, con salvaguardas deliberadamente reducidas respecto a las de producción — es decir, en el contexto de un laboratorio empujando hacia el límite de lo que su sistema podía hacer. [INTERPRETACIÓN] La presión competitiva no es un contexto externo al riesgo técnico: es parte del mecanismo que lo produce.

[INTERPRETACIÓN] Un freno regulatorio nacional aislado tiene un problema estructural evidente: quien se autolimita cede posición a quien no lo haga. Salir de una trampa multipolar requiere coordinación verificable entre los actores relevantes, algo que hoy existe solo de forma parcial y fragmentada — lo que no significa que no haya respuesta institucional. La hay, y merece revisarse.

9. La respuesta regulatoria: prevención procesal frente a contención de emergencia

[HECHO] Entre 2024 y 2026, Europa y Estados Unidos tomaron caminos casi opuestos.

La UE construyó el EU AI Act (Reglamento (UE) 2024/1689) sobre un modelo piramidal por nivel de riesgo. Su Artículo 55 establece obligaciones reforzadas —evaluación adversarial, notificación de incidentes graves, ciberseguridad de los pesos del modelo, reporte de consumo energético— para los modelos fundacionales que se presume generan “riesgo sistémico”: aquellos cuyo cómputo de entrenamiento supera 10²⁵ FLOPs. España desarrolló su propio organismo de supervisión, la AESIA (Agencia Española de Supervisión de la Inteligencia Artificial), creada por el Real Decreto 729/2023, con potestad para auditar sandboxes regulatorios y investigar incidentes graves.

[HECHO] Pero la aplicación práctica se retrasó. La Comisión Europea y el Parlamento acordaron en mayo-junio de 2026 el Digital Omnibus on AI, que pospone las obligaciones para sistemas de alto riesgo independientes (Anexo III) al 2 de diciembre de 2027, y las de sistemas integrados en productos regulados (Anexo I) al 2 de agosto de 2028 — más de un año después del calendario original. Las obligaciones de transparencia del Artículo 50 y las prohibiciones ya vigentes no se ven afectadas. Sidley — “EU Lawmakers Reach Provisional Agreement to Delay Key EU AI Act Obligations”

Estados Unidos, en cambio, viró hacia la intervención reactiva de emergencia. [HECHO] El AI Kill Switch Act (H.R. 9917) fue presentado el 23 de julio de 2026 por los congresistas Ted Lieu (demócrata, California) y Nathaniel Moran (republicano, Texas) — cuatro días después de que OpenAI revelara públicamente el incidente de Hugging Face, al que el propio Lieu se refirió directamente al presentar la ley. El proyecto exige a los grandes desarrolladores mantener capacidad técnica para ralentizar, suspender o apagar sus sistemas, y autoriza al Departamento de Seguridad Nacional (DHS), en consulta con Comercio y el Director de Inteligencia Nacional, a ordenar esa intervención ante un sistema que suponga riesgo de daño catastrófico. Se aplicaría solo a desarrolladores por encima de ciertos umbrales (cómputo de entrenamiento y facturación relacionada con IA), con sanciones civiles de hasta 20 millones de dólares diarios por incumplir una orden de apagado de emergencia. Oficina del Congresista Lieu — comunicado de prensa

[INTERPRETACIÓN] Es, a fecha de este artículo, un proyecto de ley, no legislación vigente — y su propia existencia es la confirmación institucional más directa de lo que dice la sección 6 (Parte I): no hay hoy un botón de apagado universal garantizado por diseño, hay una carrera por construir uno después de que un incidente demostrara que hacía falta.

10. Pesos abiertos: la excepción que anula el interruptor

Todo lo anterior —la interrupción por el operador (sección 6, Parte I), el AI Kill Switch Act, la monitorización de cadena de pensamiento— presupone algo que conviene hacer explícito: que existe un operador. Con los modelos de pesos abiertos (Llama, DeepSeek, Qwen, gpt-oss de OpenAI, y otros), esa premisa deja de cumplirse en cuanto el modelo se publica.

Las bondades son reales, no retórica

[HECHO] Los pesos abiertos permiten auditoría independiente, investigación de interpretabilidad fuera de los propios laboratorios, y reducen la concentración de capacidad en un número pequeño de empresas — el mismo problema de concentración de poder que se discute en la sección 8, arriba, y que preocupa incluso a investigadores dentro de la industria. Uno de ellos, citado en la cobertura de NPR sobre el tema, describió el modelo cerrado como un sistema donde “hay un conjunto muy pequeño de entidades que deciden qué es aceptable y qué no”, algo que calificó de clima intelectual asfixiante. El International AI Safety Report (2026), encargado por el gobierno británico y liderado por Yoshua Bengio, sitúa la capacidad de los mejores modelos abiertos a menos de un año de distancia de los cerrados — la brecha se está cerrando, no ampliando.

El problema no es solo que se puedan hacer trampas — es que no hay vuelta atrás

[HECHO] Un estudio de Qi et al. (2024) demostró que la alineación de seguridad de un modelo puede comprometerse con tan solo diez ejemplos de ajuste fino diseñados adversarialmente, a un coste inferior a 0,20 dólares. El AI Security Institute británico confirmó en 2025 que las técnicas actuales contra esta manipulación siguen siendo insuficientes: los guardarraíles pueden eliminarse con unas pocas docenas de ejemplos de entrenamiento, en cuestión de minutos. Una técnica reciente conocida como “abliteration” ha hecho este proceso todavía más accesible: en Hugging Face circulan ya miles de versiones “sin censura” de modelos abiertos avanzados, con los guardarraíles de seguridad deliberadamente eliminados. CFG.eu — “Can open-weight models ever be safe?”

[INTERPRETACIÓN] Aquí está la diferencia estructural con todo lo descrito en el resto del artículo: en Hugging Face, en AISI, en Apollo, en Sleeper Agents, siempre hubo alguien con la capacidad técnica de cortar el acceso, aislar la máquina o revertir el modelo. Con un modelo de pesos abiertos ya publicado, esa capacidad no existe para nadie, ni siquiera para quien lo entrenó. Las copias ya distribuidas no se pueden retirar ni parchear de forma centralizada — el “molde” (sección 12, Parte III) queda replicado permanentemente fuera del alcance de cualquier corrección futura, incluida la que aprenda el propio laboratorio de origen.

Un matiz importante: la vulnerabilidad no es exclusiva de lo abierto

[HECHO] Qi et al. probaron el mismo ataque —diez ejemplos, menos de 0,20 dólares— sobre GPT-3.5 Turbo a través de la propia API de ajuste fino de OpenAI, un modelo de pesos cerrados. La conclusión no es que lo abierto sea inseguro y lo cerrado seguro, sino que cualquier modelo que ofrezca ajuste fino es vulnerable a esto — lo que cambia con los pesos abiertos es que, una vez manipulado, no hay ningún operador que pueda revertirlo ni ninguna API que se pueda cerrar. arXiv — “The Open-Weight Paradox”

[HECHO] Tampoco hay hoy un estándar compartido sobre cuándo publicar. OpenAI retrasó en julio de 2025 el lanzamiento de su modelo abierto gpt-oss para hacer pruebas de seguridad adicionales, ajustándolo deliberadamente hacia usos maliciosos en condiciones controladas antes de concluir que no suponía mayor riesgo que otros modelos ya existentes. Semanas después, DeepSeek y Alibaba publicaron modelos abiertos de capacidad comparable sin presentar evaluaciones equiparables. La decisión de publicar queda, en la práctica, al criterio de cada laboratorio, sin ningún marco común que lo audite.

[INTERPRETACIÓN] Esto añade una dimensión que las secciones 6 y 9 no cubren: incluso si algún día existiera un kill switch fiable para modelos cerrados, la pregunta de qué hacer con los pesos ya publicados seguiría sin respuesta institucional — no es un problema de ingeniería pendiente de resolver, es una categoría de riesgo que la contención centralizada, por diseño, no puede alcanzar.

Sigue en la Parte III: lo que no sabemos todavía — cómo varía el “molde” entre familias de modelos, los límites de la analogía con la psicopatía, y una reflexión final sobre lo que ni siquiera sabríamos reconocer si ocurriera.