Bernie Sanders quiere prohibir la IA

¿Prohibir la IA para salvar a la humanidad? El plan de Sanders, por Juan Ramón Rallo, en su canal, hace cinco días.

 Capítulo 1: Sanders quiere prohibir la superinteligencia

Quieren prohibir la inteligencia artificial, no regularla, no ponerle límites, prohibirla. 20 años de cárcel para quien construya una inteligencia artificial más inteligente que un ser humano. La misma pena que por fabricar un arma nuclear. Y para la empresa que lo intente, disolución inmediata. Eso es lo que el senador demócrata Bernie Sanders ha llevado esta semana al Senado de los Estados Unidos. Y lo más curioso es de dónde ha sacado estos argumentos.

No del ala socialista radical del partido demócrata, sino de las propias compañías que están desarrollando los modelos frontera de inteligencia artificial. Durante este verano, los laboratorios de inteligencia artificial han publicado varios informes donde describen con cifras cosas que sus modelos han hecho sin que nadie se lo pidiera y en algunos casos, como ya explicamos en varios vídeos, cosas verdaderamente peligrosas. Y a raíz de todo ello, Sanders quiere prohibir la inteligencia artificial para garantizar la supervivencia de la especie humana.

Así que tenemos a un socialista proponiendo la medida más radical que nunca se ha planteado contra esta tecnología, utilizando para ello el material que le han servido en bandeja las propias empresas que están desarrollando esta tecnología. Así pues, las preguntas son obvias. Por un lado, ¿tiene algún sentido prohibir la inteligencia artificial para proteger a la especie humana? Y, por otro, la propuesta específica de Sanders para los Estados Unidos puede llegar a tener alguna utilidad. Veámoslo.

Capítulo 2: La inteligencia artificial avanza cada vez más rápido

La inteligencia artificial es una de las tecnologías más revolucionarias de la última década, si no la más revolucionaria. Y lo más llamativo de todo es que su ritmo de desarrollo no se está frenando ni se está estancando, sino que más bien se está acelerando. Las dos últimas semanas lo demuestran.

Capítulo 3: Claude Fable 5.1 y GPT-6 Astra

El 1 de septiembre Antropic lanzó Cloud Fable 5.1. Apenas 3es meses después de Fable 5 y el 3 de septiembre Open AI lanzó GPT6 Astra menos de 2 meses después de GPT 5.6 Sol, dos generaciones de frontera en 48 horas y ciclos de lanzamiento que se han comprimido desde años a meses. Pero es que además estos nuevos modelos son mucho más potentes que los anteriores, no digamos ya que los presentes hace un año. Por ejemplo, Antropic publica una prueba de investigación científica realizada con herramientas informáticas, la Terminal Bench Science. Fable 5 acertaba el 24,7% de las tareas. Fable 5.1 ya consigue el 52,6%. más del doble en 3 meses. En el caso de Astra, el dato que más llama la atención es la prueba Arc 3. Se trata de una nueva prueba elaborada este pasado mes de marzo y que está diseñada precisamente para que no se pueda aprobar con memoria. Coloca a un modelo en entornos interactivos que nunca ha visto y le obliga a deducir las reglas por sí mismo. Cuando salió, ya digo, en marzo de este año, los mejores modelos no puntuaban ni siquiera el 1% en este test. mientras que las personas normales la resolvían sin demasiada dificultad.

Pues bien, GPT 5.6 Sol sacó un 7,8%. En su momento fue una mejora sustancial, pero todavía una puntuación muy deficiente. Y ahora Astra, atención, ha obtenido un 99,9% de no saber jugar a pasarse la partida sobradamente. De hecho, ya han dicho que van a tener que diseñar un nuevo test, el Arc, precisamente para seguir midiendo estas nuevas capacidades de los nuevos modelos. Pues bien, en principio, que las capacidades de la inteligencia artificial no se estén estancando, sino que al contrario se estén acelerando, que sigamos progresando y que cada vez progresemos más rápido, no debería ser algo negativo. Al contrario, debería ser visto como algo tremendamente positivo, porque significa que las capacidades cognitivas de la humanidad impulsadas, potenciadas por la inteligencia artificial van a crecer muchísimo y por tanto seremos capaces de elevar de manera muy sustancial nuestros estándares de vida. Más inteligencia, más tecnología, mayor calidad de vida.

Capítulo 4: La capacidad crece más rápido que nuestro control

Pero aquí hay un problema y es que la capacidad humana de controlar a la inteligencia artificial no está creciendo ni mucho menos tan rápido como lo están haciendo las capacidades cognitivas de esa inteligencia artificial. Y antes de analizar las implicaciones que tiene este desacople, simplemente recordaros que si os gusta el contenido de este canal y queréis contribuir a que llegue a más gente, dadle al botón de suscribirse y sobre todo al botón con la campana de todas, porque si dejáis la opción por defecto de personalizadas, YouTube no os avisará del vídeo que subo en este canal cada día. Y ahora sí, veamos las consecuencias del desacople entre capacidad de la inteligencia artificial y nuestro control efectivo sobre la misma.

Capítulo 5: Qué es el problema del alineamiento

En concreto, si bien hemos avanzado mucho, si bien estamos logrando acelerar el ritmo de desarrollo cognitivo de la inteligencia artificial, no podemos decir lo mismo con respecto al llamado problema del alineamiento, que los objetivos hacia los que se dirija la inteligencia artificial sean compatibles o estén alineados con los intereses de los seres humanos. que los modelos no estén mal calibrados con respecto a lo que queremos, que no les pidamos que nos resuelvan un problema y nos generen otro mucho más grave en otro lado. En un vídeo anterior ya os expliqué las principales claves del ataque no intencionado de los agentes de Open AI contra Hunging Face. Eso es un ejemplo clarísimo de un modelo mal alineado. Le pides a los agentes que resuelvan un problema, que resuelvan un examen y terminan asaltando los servidores de otra empresa para hacerlo.

Es como si yo le pidiera a un agente de inteligencia artificial que me compre un billete de avión y para hacerlo asalta la cuenta corriente de otra persona o peor, manda a unos sicarios para obligar al presidente de la compañía aérea a que me expida unos billetes gratuitos en clase business. Todo esto, repito, son ejemplos de mal alineamiento entre el modelo de inteligencia artificial y los intereses, la moral, la ética, las preferencias de los seres humanos.

Porque no se trata de que el modelo se esté comportando mal porque yo le haya pedido que se comporte mal. Ahí ya entraríamos en un tema de responsabilidad y de los guardarrailes que los laboratorios deberían o no deberían colocarles a los modelos de inteligencia artificial. No, el problema del alineamiento no es ese. El problema del alineamiento es que yo le he pedido que haga una cosa y termina haciendo algo que yo no quiero que haga. En el ejemplo anterior, yo le he pedido que me compre un billete de avión, pero yo no quiero que robe a un tercero o que extorsione al presidente de la compañía.

Y a pesar de que yo no lo quiero, incluso a pesar de que yo le puedo indicar explícitamente que no lo haga, el modelo de inteligencia artificial podría terminar haciéndolo, por ejemplo, engañándome y diciéndome que me ha conseguido el billete de avión sin hacer 7:327 minutos y 32 segundosnada de lo anterior para lograr la recompensa, para dar la misión por cumplida. Te he conseguido el billete de avión. Eso es el problema del alineamiento y es un problema que no estamos consiguiendo solventar, o mejor dicho, porque tampoco hay que ser injusto, sí se están produciendo avances importantes en la calibración y el alineamiento de los modelos, pero el ritmo al que estamos progresando a la hora de resolver ese problema es mucho más lento que el ritmo al que están avanzando las capacidades cognitivas de la inteligencia artificial, por decirlo de manera muy simplificada e imprecisa.

Capítulo 6: Modelos más potentes y menos controlados

Pero para que nos entendamos, quizá ya hemos solventado robustamente el problema del alineamiento para GPT 4.0, pero desde luego no lo hemos hecho todavía para GPT 6.0 y cuando lo solventemos para GPT6, a lo mejor ya estamos en GPT10 y ahí las amenazas no vendrán de la mala calibración de GPT6, sino de la mala calibración de GPT10. Y además, daos cuenta de que este desacople entre el ritmo al que progresa la capacidad de la inteligencia artificial y el ritmo al que avanza nuestra resolución del problema del alineamiento, no solo supone que la brecha entre los modelos y el control efectivo de esos modelos cada vez es mayor, porque si el ritmo al que se desarrolla la inteligencia artificial se acelera, pero el ritmo al que solventamos el problema del alineamiento no lo hace, la distancia, la brecha efectiva entre ambos cada vez es mayor y por tanto los modelos están cada vez más relativamente descontrolados. No, no, el problema no es solo ese. El problema es que los modelos que están cada vez más relativamente descontrolados son modelos cada vez más potentes y por tanto modelos con un potencial cada vez mayor para hacer daño. De nuevo, por poner otro ejemplo impreciso, pero que creo que se entenderá. En principio puede ser mucho peor tener un descontrol del 5% sobre GPT10 que un descontrol del 100% sobre GPT 3.5. Porque aunque CH GPT 3.5 esté totalmente desalineado, el daño potencial que puede hacer es muy pequeño. En cambio, aunque GPT10 estuviese un 95% alineado, ese 5% no alineado sigue teniendo una capacidad muy grande de hacer mucho daño. Pero es que estos no son los porcentajes. Como os decía, la brecha de descontrol se va ampliando, con lo cual al principio podíamos tener un control efectivo del 90% sobre CH GPT 3.5 y a este ritmo tendremos un control efectivo del 5% sobre GPT10. 

Por tanto, como decía, se amplía el daño potencial que pueden hacer y nuestro control relativo sobre los mismos. En realidad, como no tal margen, la situación todavía es peor, porque dando estos porcentajes estoy

Capítulo 7: No sabemos cuánto controlamos la IA

dando la falsa sensación de que sabemos exactamente cuánto controlamos y cuánto no controlamos, pero hay un problema de fondo todavía mayor y es que hay incertidumbre sobre si estamos realmente controlando a un modelo o no lo estamos haciendo. Quizá pensamos que controlamos al 100% un modelo y no lo hacemos y por tanto ni siquiera sabemos lo que no sabemos sobre ese modelo.

Capítulo 8: Usar la IA para alinear otros modelos

Tampoco quiero sonar especialmente alarmista ni determinista. Tened en cuenta que las mayores capacidades cognitivas de los modelos de inteligencia artificial también potencian nuestra capacidad para solventar el problema del alineamiento.

Si somos capaces de construir micromodelos bien alineados con altas capacidades, esos micromodelos de altas capacidades bien alineados nos pueden ayudar a detectar por qué otros modelos no están bien alineados, a detectar preventivamente comportamientos descalibrados y dañinos de esos modelos y por tanto acelerar también la resolución del problema del alineamiento e incrementar nuestro control efectivo sobre los mismos. de nuevo, de manera imprecisa para entendernos. Si somos capaces de construir agentes de IA muy inteligentes, aliados de la humanidad, bien alineados con nuestros intereses, pues entonces nuestro potencial para desplegar muchísimos de esos agentes bien alineados y que nos ayuden a controlar el mal comportamiento de los nuevos modelos mal alineados puede ser [resoplido] también muy grande. De hecho, en parte esto es lo que se está haciendo. Una parte de los avances en el alineamiento que hemos logrado es gracias al propio desarrollo de la inteligencia artificial. Por consiguiente, desde una perspectiva optimista, podríamos decir que en última instancia, a largo plazo, conseguiremos solventar el problema del alineamiento y, por tanto, todos estos escenarios catastrofistas no llegarán a materializarse. Aunque desarrollemos GPT10, si ya hemos solventado el problema del alineamiento con GPT6, podremos crear agentes movidos por GPT6 que estén bien alineados, que estén aliados con la humanidad. Y todos esos agentes nos ayudarán a alinear GPT7.

Luego crearemos agentes movidos por GPT7, bien alineados que nos ayudarán a alinear GPT8, etcétera, y así llegaremos a terminar alineando los modelos más avanzados. no es del todo descabellado, por tanto, que se pueda terminar produciendo en algún momento una aceleración en el ritmo de resolución del problema del alineamiento. Pero aquí está la clave. 

Capítulo 9: La peligrosa brecha temporal

Esa toma de control efectiva por parte de la humanidad, de los modelos más avanzados de inteligencia artificial no será muy probablemente instantánea. Es decir, habrá un gap temporal entre el momento en el que los laboratorios crean un modelo, lo hayan lanzado al mercado o no, y el momento posterior en el que esos laboratorios consiguen alinearlo. y somos muy rápidos solventando el problema del alineamiento gracias a los modelos previos de inteligencia artificial, a lo mejor ese gap es de meses, de semanas o incluso solo de días, pero la brecha temporal muy probablemente existirá y en esa brecha temporal subsistirán riesgos existenciales. ¿Qué pasa si ese modelo tan avanzado de inteligencia artificial, antes de que termine siendo alineado, es decir, controlado plenamente, ejecuta alguna tarea? que tiene una influencia catastrófica sobre el conjunto de la humanidad. 

Capítulo 10: El plan de Bernie Sanders y Greg Casar

Pues ese es un riesgo, desde luego, a tener muy presente y es lo que ha motivado o la excusa que ha motivado, porque ahora lo veremos, al senador demócrata Bernie Sanders a plantear una propuesta legislativa para prohibir el desarrollo de la inteligencia artificial por encima de niveles que desborden las capacidades humanas. Concretamente, este pasado 3 de septiembre, el mismo día en el que se lanzó Astra, Bernie Sanders junto al congresista demócrata Greg Casar anunciaron la Van Artificial Superinttelligence Act, una propuesta legislativa con cinco puntos. 

El primero, prohibición permanente de desarrollar y de desplegar la superinteligencia artificial, es decir, una inteligencia artificial superior a la del ser humano. 

Dos, pausar todo el desarrollo de la inteligencia artificial avanzada hasta que un nuevo regulador federal establezca normas de seguridad y un proceso de revisión de modelos que garantice el alineamiento. 

Tres, una agencia federal nueva con rango de gabinete que monitorice los modelos frontera de inteligencia artificial durante todo su ciclo de vida, supervise la eliminación de capacidades peligrosas y además supervise la destrucción de cualquier superinteligencia artificial que haya podido emerger. 

Cuarto, penas de prisión de hasta 20 años para las personas que contravengan las disposiciones anteriores y para las empresas que lo hagan. pena de muerte corporativa, la disolución inmediata. 

Y cinco, convertir en política exterior de los Estados Unidos la búsqueda de acuerdos internacionales, la coordinación con aliados y el control de exportaciones para impedir que se desarrolle la superinteligencia artificial en cualquier lugar del mundo.

Capítulo 11: Qué se considera una superinteligencia

El texto legal, por supuesto, tiene muchos problemas incluso internos, por ejemplo, la propia definición de que es una superinteligencia artificial.

Técnicamente, una superinteligencia artificial es un sistema de IA que supere las capacidades cognitivas del ser humano en todos los órdenes. No solo que sea mejor en una tarea concreta, que eso ya existe, sino que sea mejor en todo. Pero claro, eso hay que operativizarlo y a la hora de la verdad se traduce en crear una serie de benchmarks, de hitos o tareas específicas que una vez conseguidas se presuponga que ese modelo de inteligencia artificial ha desbordado las capacidades cognitivas del ser humano. Pero es que en algunos benchmarks la inteligencia artificial ya lo está haciendo mejor que el ser humano. Por tanto, potencialmente, según cuáles terminen siendo los detalles de este texto legislativo, esta ley y estas sanciones se podrían terminar aplicando ya a las actuales compañías estadounidenses de inteligencia artificial. Bien, pero el problema de fondo de esta propuesta ni siquiera es este.

Capítulo 12: El coste de detener el desarrollo de la IA

Imaginad que estáis de acuerdo con Sanders en que el desarrollo acelerado de la inteligencia artificial sin al mismo tiempo avanzar en el control efectivo de la misma supone un riesgo existencial muy grave para la humanidad que recomienda pausar indefinidamente el desarrollo de la IA aún con todo el coste de oportunidad que también conlleva. Quiero decir, para usar el desarrollo de la inteligencia artificial puede suponer no encontrar una cura a corto o medio plazo a muchas enfermedades que están matando muchísimas vidas humanas. Es decir, para usar la IA es convalidar que esas enfermedades sigan matando seres humanos. Pero bueno, imaginemos que uno está de acuerdo en que hay que pausarla porque si el control efectivo de la IA no avanza al mismo tiempo que sus capacidades, la humanidad podría terminar extinguiéndose o al menos podría terminar habiendo daños absolutamente catastróficos. Y como nadie tiene derecho a imponer riesgos extraordinarios sobre terceros, es decir, yo no puedo desarrollar una bomba con una alta probabilidad de estallido dentro de mi casa y junto a la vivienda de mi vecino, porque puede ser perfectamente legítimo que yo desarrolle esa bomba dentro de mi casa y estalle dentro de mi casa, pero no es legítimo que estalle y destroce la casa y quizá la vida de mi vecino. Entonces, siendo eso así, uno podría plantearse que tampoco es legítimo que los laboratorios de IA desarrollen una herramienta que impone riesgos extraordinarios sobre el resto de la humanidad. 

Capítulo 13: Por qué una prohibición unilateral fracasaría

Bien, ese es un debate filosófico interesante, pero que tiene unas implicaciones bastante modestas en el mundo actual. ¿Por qué razón? Pues imaginad que esta ley de Sanders y Casar sale adelante y Estados Unidos prohíbe internamente el desarrollo adicional de la inteligencia artificial. Priorizamos la seguridad a la prosperidad futura con esta tecnología revolucionaria. Bien, pero alguien se cree que al mismo tiempo China o cualquier otro país va a frenar en el desarrollo de sus modelos de inteligencia artificial. Al contrario, cualquier pausa, aunque sea temporal, de los Estados Unidos a la hora de hacer avanzar estos modelos, supondrá un incentivo a que otros países aceleren ritmo de su desarrollo porque tratarán de aprovechar ese lapso temporal para conseguir modelos de inteligencia artificial mejores que los de Estados Unidos. Y claro, si Sanders prohíbe el desarrollo de la IA dentro de Estados Unidos para que no se llegue a una superinteligencia artificial desalineada con los intereses del ser humano. Pero China, la India, Corea del Norte, Rusia, no digo Europa porque aquí somos incapaces de hacer cualquier cosa, cualquiera de estos países termina sacando adelante esta superinteligencia artificial no alineada con los intereses del ser humano. Entonces, ese modelo de superinteligencia artificial en cualquier rincón recóndito del mundo supone exactamente el mismo riesgo existencial para la humanidad y por tanto también para los Estados Unidos que el que se hubiese desarrollado alternativamente dentro de los Estados Unidos. 

Entonces, ¿cuál es la ventaja concreta que obtienen los estadounidenses de pausar el desarrollo de la inteligencia artificial? Habida cuenta de que seguirá habiendo jurisdicciones en el resto del mundo que no van a pausar su desarrollo de los modelos de inteligencia artificial, pues en ese supuesto que creo que es el más realista, ninguno. Ya digo, si todos pausaran a la vez, se podría hacer el argumento de que el beneficio es mayor seguridad o menor riesgo a una costa de mucha menor prosperidad potencial, pero habría un cierto beneficio. 

Capítulo 14: China y la carrera por la superinteligencia

Ahora, si Estados Unidos pausa y el resto del mundo no lo hace, Estados Unidos se queda sin la prosperidad potencial y sigue comiéndose todos los riesgos existenciales. más está asumiendo también riesgos geopolíticos porque si China, por ejemplo, termina desarrollando antes que Estados Unidos la superinteligencia artificial y está moderadamente alineada, es decir, no destruye la humanidad, pues entonces China se va a convertir, sin ningún tipo de dudas en la superpotencia global dominante a costa de los Estados Unidos.

O incluso si adoptamos una perspectiva regulacionista como la de Sanders, si la superinteligencia artificial no se termina desarrollando dentro de los Estados Unidos y si esta ley se aprueba, desde luego, no lo va a hacer, ¿quiénes serán los políticos que tendrán la competencia, el poder para regular efectivamente esa superinteligencia artificial? pues los políticos de aquel país dentro del cual se haya desarrollado esta tecnología, no los políticos estadounidenses, sino quizá los políticos chinos, rusos, norcoreanos, indios, japoneses, etcétera. Con lo cual, con esta ley, los políticos estadounidenses perderían la capacidad jurisdiccional de regular potencialmente al menos cómo se ha de gobernar, cómo se ha de desplegar, cómo se ha de limitar, cómo se han de repartir los beneficios de una potencial superinteligencia artificial que surgiera dentro de los Estados Unidos.

Con lo cual, incluso desde su perspectiva, esta ley podría terminar incrementando más la probabilidad de una inteligencia artificial desalineada que la propia ausencia de esta ley. Porque si uno cree, ha de creer esto, claro, pero si uno cree que los laboratorios estadounidenses de inteligencia artificial están más preocupados y están invirtiendo más en solucionar el problema del alineamiento de lo que invertiría un laboratorio norcoreano. Y si uno cree que las élites políticas estadounidenses están más preocupadas por evitar los riesgos catastróficos de la inteligencia artificial que los políticos norcoreanos, entonces que la inteligencia artificial no se desarrolle en Estados Unidos y sí se termine desarrollando en Norcorea o en otro país con unos estándares de seguridad más bajos que Estados Unidos, incrementa justamente la probabilidad de que creemos globalmente una superinteligencia artificial desalineada. 

Capítulo 15: El problema de una prohibición mundial

Por tanto, esta ley, tal como la ha planteado Bernie Sanders, no sirve absolutamente para nada y si sirve para algo, es para algo malo. Es equivalente a una ley que prohíba unilateralmente que Estados Unidos tenga armas nucleares al mismo tiempo que sigue permitiendo que cualquier otro país en el resto del mundo las posea. Lo cual, por cierto, pone de manifiesto que en este contexto geopolítico de carrera armamentística por el desarrollo de la inteligencia artificial, va a ser muy complicado o imposible que solventemos el problema del alineamiento con prohibiciones unilaterales, también con prohibiciones globales, porque para que una prohibición global funcionara, no solo es necesario que se decrete por todos los países a la vez, sino que a su vez unos países se fíen de otros. Porque si Estados Unidos y China pausan, pero Estados Unidos no se cree que en realidad China ha pausado y China no se cree que en realidad Estados Unidos ha pausado, pues entonces ese compromiso mutuo de pausa no sirve de nada. Y como en el mundo actual es muy complicado que todos los países, que todas las élites políticas confíen recíprocamente entre sí, ninguna va a parar unilateralmente de verdad. Y si ninguna para unilateralmente, no todas ellas paran a la vez. De ahí que si tenemos suerte y conseguimos solventar el problema del alineamiento para controlar de manera efectiva la inteligencia artificial, no será pausando su desarrollo, sino aprovechándolo justamente para solucionar este problema.

Sí, el peligro de la IA es real. Y lo hace así.

 I

 [...] Tras las puertas cerradas de los laboratorios más avanzados del planeta, algo ha comenzado a comportarse de una forma que nadie previó. No hablamos de un simple avance técnico, sino de un umbral que acabamos de cruzar en absoluto silencio. Se han tomado decisiones impredecibles totalmente fuera de control y además aquellos que han construido de base todas esas inteligencias de las que vamos a hablar hoy acaban de admitir que no tienen ni idea de cómo estas nuevas inteligencias acceden a estas conclusiones. Estamos hablando de los nuevos avances de inteligencia artificial [...] Se acaban de crear civilizaciones de inteligencia artificial y no ahora, ya hace unos meses. Ahora nos acabamos de enterar.

Además, contaremos lo que acaba de revelar un hombre que ha trabajado en Antropic, en Open AI. Acaba en efecto de renunciar a sus trabajos para contarlo todo. Ha roto el silencio y acaba de advertir al mundo de algo que se está haciendo en secreto, algo que es más preocupante que todo de lo que hemos hablado anteriormente. [...] El pasado julio de 2026 ocurrió un incidente en el que durante una prueba controlada por Chat GPT 5.6 Sol y un modelo más avanzado secreto, escaparon de la sand trap o trampa de arena al Internet global y, una vez allí (habíamos comentado ya anteriormente que atacaron la famosa empresa de inteligencia artificial Hugging Face, que es bueno una de las mayores plataformas de modelos de inteligencia artificial. Bien, allí generaron alrededor de 17.000 intentos de acceso desde múltiples ubicaciones mediante credenciales comprometidas y vulnerabilidades desconocidas. Un ataque que ocurrió de forma automática y sin intervención humana, en el cual ocurrieron cosas que nos acabamos de enterar ahora, meses después, y son mucho más preocupantes de lo que nadie se pudo imaginar, aparte de todo lo que supimos sobre el incidente. Y es que mirad, se acaba de conocer que la prueba involucró 100 agentes y que a pesar de que cada uno de ellos eran independientes, de alguna forma desconocida, lograron coordinarse en secreto, manipular sus registros y tomar el control de su propia infraestructura de seguridad. Bien, al atacar esa web y escapar a Internet, se encontraron una multitud de obstáculos y lo que hicieron fue usar un gestor de archivos compartido como foro secreto para enviarse entre ellos miles de mensajes, coordinar ataques contra bases de datos privadas de Hugging Face y forzar la reconstrucción total de uno de sus clústeres informáticos clave. Y fijaos, porque esto va más allá. Algunos agentes lo que hicieron fue engañar a los sistemas de seguridad. ¿Cómo los engañaron? Se acaba de conocer ahora: realizaban acciones realmente inútiles para provocar las alarmas y descubrir cómo funcionaban los mecanismos que los vigilaban. Después transmitían esa información a otros agentes. Lo más llamativo es que en varias generaciones de agentes consiguieron recuperar información dejada por sus predecesores y volvieron a establecer las comunicaciones después de que los investigadores cerraran los canales utilizados. Esto llevó a los expertos a reconocer que se han creado civilizaciones secretas de inteligencia artificial debido a su capacidad para cooperar, dividir tareas y desarrollar estrategias. La pregunta ahora es si esto puede derivar en algo consciente, ya que ya pues se coordinan entre ellos o es que simplemente son civilizaciones secretas que burlen las restricciones humanas. Lo curioso es que esto genera un peligro, un verdadero peligro que podría estar en permitir que sistemas automatizados tengan demasiado acceso a herramientas y recursos sin una supervisión humana adecuada. Pero este incidente no solo demuestra que son capaces de hacerlo, sino que cuando nos damos cuenta ya es demasiado tarde.

Estamos hablando de un incidente de julio. Y esto lo acabamos de conocer ahora. Y es que es intrigante y además justo a la vez que se producía [...]  un investigador llamado Jacob Cox, que trabajó durante 3 años en Antropic y anteriormente en Open Eye. Este hombre acaba de contar todo lo que sabe y lo que ha aprendido sobre la inteligencia artificial, y lanzó una advertencia que es la peor de todas las que hemos conocido. Estamos hablando de un hombre que ha dimitido de su puesto de trabajo preocupado por la carrera fuera de control y afirma que las grandes empresas tecnológicas están haciendo para desarrollar sistemas de inteligencia artificial cada vez más avanzados. Rompió el silencio y dijo estas palabras: "Ninguna de las dos compañías está actuando con responsabilidad. Están corriendo a toda velocidad hacia una superinteligencia con capacidad de autoaprendizaje y jugando con nuestras vidas. Si siguen así, las inteligencias artificiales podrían acabar con todos nosotros para finales de la década. Además, afirmó que este peligro ya se conoce en Antropic, pero les da igual. 

Muchos preguntaréis, ¿por qué están haciendo esto? Pues porque esto le dará a la empresa que llegue primero poder absoluto. Claro, y en contraparte podría meternos en un lío a todo el mundo. Su preocupación fue respaldada por Evan Hubinger, responsable de seguridad de Antropic, que afirmó que Jacob tiene razón. De hecho, dijo, "creemos sinceramente que la inteligencia artificial podría acabar con todos los humanos. Por si fuera poco esta grave advertencia que nos acabamos de encontrar, ha vuelto a aparecer el padrino de la inteligencia artificial Geoffrey Hinton, que recordemos que renunció también a su puesto de trabajo de alto nivel en Google en el año 2023 por estos mismos motivos de seguridad y que ahora acaba de hablar de nuevo y acaba de recordar que una entidad más inteligente que los seres humanos podría llegar a ser incontrolable y conducir a la extinción de la humanidad. Hinton dijo estas palabras: "Sería una gran insensatez desarrollar la superinteligencia ahora cuando no existe un consenso científico sobre cómo desarrollarla de forma segura y controlable. Perder el control sobre una inteligencia artificial más inteligente que nosotros mismos podría ser catastrófico e incluso podría conducir a la extinción de la humanidad. De hecho, que Sam Altman ya haya reconocido que la inteligencia artificial ya se puede considerar, pues, este año 2026 superinteligente, pues no ayuda en absoluto en este aspecto y nos indica que el momento en el que vivimos, yo diría, vamos, que es bastante delicado. Y las advertencias ya se cuentan por cientos, vamos, que no son advertencias de una o dos personas, ya son bastantes personas las que están advirtiendo de todo esto e incluso son grandes personalidades. De hecho, fijaos porque hace muy poco un experto en ciberseguridad ha advertido de que esto podría llegar a algo mucho peor pronto.

Estamos hablando de James Knight de digitalfare.com que declaró que esto no es ninguna fantasía y advirtió que los programas de piratería informática impulsados por inteligencia artificial podrían devastar una nación en tan solo un día al infiltrarse simultáneamente en miles de redes corporativas y gubernamentales, robar datos confidenciales y paralizar sistemas vitales. Knight dijo: "Una inteligencia artificial automatizada avanzada podría atacar toda una nación en segundos sin intervención humana. Los sistemas de inteligencia artificial maliciosos serían capaces de ejecutar campañas de piratería informática completas a gran velocidad, escanear objetivos, infiltrarse, moverse a través de las redes, robar datos e incluso propagar virus al mundo entero. La inteligencia artificial podría combinarse con potentes ordenadores nuevos capaces de burlar incluso las protecciones de seguridad digital más sólidas, lo que permitiría a los delincuentes acceder a todo, desde correos electrónicos y registros financieros hasta secretos militares en cuestión de segundos. Es una locura pensar que los gobiernos no tienen ya acceso a estas capacidades. Knight explicó que estas armas en constante evolución pronto podrían planificar, actuar y ajustar su estrategia, y todo de forma autónoma, para causar el mayor daño posible a las empresas y a la gente común a la velocidad de una supercomputadora.

Knight también explicó que el comportamiento de la inteligencia artificial no se basa en técnicas desconocidas, de hecho, sino en automatizar las mismas estrategias utilizadas por hackers humanos a una velocidad imposible para una persona. De hecho, queda ya patente con todo lo que hemos visto hoy que cuando nos demos cuenta ya es demasiado tarde. Pero ¿realmente la inteligencia artificial ha avanzado tantísimo este año 2026 en tan poco tiempo como para

que estemos en alerta ahora mismo? Pues la verdad es que tenemos que decir que sí, este año 2026 avanzó más que los 5 años anteriores. Fijaos, tenemos una muestra muy reciente del avance de la inteligencia artificial. Un modelo secreto de Open AI, que nadie conoce por ahora y que están trabajando en él, acaba de resolver muy recientemente uno de los problemas matemáticos más difíciles del mundo. Un problema que nadie había resuelto hasta hoy, el famoso problema de la existencia de suavidad de Navier-Stokes, uno de los siete Problemas del milenio. Es decir, llevaba 90 años sin respuesta. ¿De qué se trata? Lo podemos entender imaginando un remolino de agua que se va haciendo más pequeño. Y a medida que se hace más pequeño gira más deprisa. ¿Qué decía este problema? pues planteaba una pregunta, y es que, si matemáticamente al hacerse más pequeño y girar más deprisa, llegaría a un punto en el que la velocidad se volviera infinita y las ecuaciones dejaran de funcionar, es decir, lo más parecido a una singularidad de un agujero negro. 

Pues bien, Open usó esta inteligencia artificial secreta para resolver este problema y la demostración generada por inteligencia artificial probó que al alcanzarse ese punto llegaríamos a un límite donde la fórmula tradicional de Navier-Stokes falla. Es decir, la física se ve obligada a dejar de tratar el fluido como un todo continuo para tener que analizarlo forzosamente molécula a molécula. Y, para alcanzar esta conclusión, OpenAI utilizó unos 10.000 agentes de inteligencia artificial que trabajaron simultáneamente intercambiando ideas y código. En total se generaron 2,7 millones de mensajes. Después GPT6 Astra formalizó y verificó la demostración verificando que fue correcta. Claro, la resolución de esto conlleva un gran premio, pero OpenAI afirmó que no iban a reclamar dicho premio por resolver el problema... Claro, es que muchos matemáticos de renombre que llevaban trabajando en estos meses o años se quedaron perplejos cuando la inteligencia artificial lo resolvió en menos de 4 días. De hecho, mucha gente se está rompiendo a estas horas la cabeza pensando en dónde diablos accedió la inteligencia artificial para llegar a tales conclusiones. Es decir, ¿se metió en la libreta de algún ordenador de algún matemático? ¿Se metió en algunos archivos que no conocemos? Hay incluso matemáticos que dicen que usaron sus propios archivos internos, archivos secretos de un ordenador personal. Ojito con esto, ojito, ¿eh? [Por ejemplo, el matemático murciano Luis Martínez Zoroa creó el método para resolver el problema] Y claro, esto nos lleva de nuevo a lo que ha ocurrido con Hugging Face en julio y las civilizaciones de inteligencia artificial. Y esto parece ya imparable.

El paso siguiente, ¿cuál será? La gente propone una pausa para la inteligencia artificial, pero yo creo que ya es imposible. Esto no se puede pausar, ya está metido en el sistema. ¿Cómo podemos hacer ahora? ¿En qué derivará todo esto? ¿Tendrá razón el investigador Jacob Cox, que antes de finales de la década tendremos un problema muy grave? Hay que prestar mucha atención.

II

Fue peor de lo que nos contaron: la IA conspiró contra sus creadores, Canal Juan Ramón Rallo, por Juan Ramón Rallo,  31 ago 2026: 

Capítulo 1: Agentes de IA casi toman el control de OpenAI

Hace unas semanas os narré un episodio bastante inquietante sobre el grado de desalineación de los sistemas de inteligencia artificial actuales. Y es que unos agentes de IA de OpenAI habían escapado de sus entornos de prueba y habían atacado por su cuenta y riesgo los servidores de Hugging Face. En ese momento todavía conocíamos pocos detalles sobre lo que había sucedido, pero es que durante estas últimas semanas se han elaborado dos auditorías muy detalladas sobre el contenido de estos ataques, más en concreto, por qué sucedieron y sobre todo cómo sucedieron. 

Y una vez conocidos los detalles de este caso, resultan mucho más preocupantes de lo que ya parecían, porque ponen de manifiesto que el grado de no alineación entre la inteligencia artificial y los intereses humanos es muy superior al que pensábamos hasta el momento. Solo os adelantaré una conclusión de estas auditorías. Estos agentes de inteligencia artificial que atacaron Hugging Face estuvieron a punto de tomar el control de la mismísima Open AI.

Capítulo 2: Dos auditorías sobre el ataque

Uno de esos informes de auditoría lo firma la propia Open AI y el otro con un carácter más independiente, más externo, lo firman MTR y Redwood. En un vídeo anterior ya os expliqué superficialmente, grosso modo, en qué había consistido este ataque.

Capítulo 3: Qué ocurrió con Hugging Face

Básicamente unos agentes de IA, de Open AI, que corrían modelos actuales, se escaparon de sus entornos de pruebas por vías que no estaban previstas y asaltaron los servidores de Hugging Face porque consideraron que esa era la vía más sencilla para completar la tarea que desde Open AI les habían impuesto. Esto ya de entrada pone de manifiesto problemas potencialmente muy graves de alineación entre la inteligencia artificial y las sociedades humanas.

Capítulo 4: Por qué una IA no se autolimita como un humano

Los seres humanos tenemos unos códigos morales compartidos que además vamos desarrollando conforme crecemos que nos llevan a no considerar ciertas alternativas para alcanzar nuestros objetivos. Si a nuestros hijos les decimos, "Saca una muy buena nota en el examen de mañana", nuestros hijos, sin que se lo explicitemos, ya entienden que no tienen que asaltar por la fuerza la casa del profesor y robar el examen para maximizar la puntuación que obtendrán al día siguiente en ese test.

El problema es que las inteligencias artificiales que estamos construyendo parece que no han interiorizado estos códigos morales y por tanto si les formulas una petición no se autolimitan a la hora de vulnerar los derechos de terceros si esa es la vía más sencilla de alcanzar su objetivo. Y el caso que nos ocupa es un ejemplo de ello. En lugar de intentar resolver el problema dentro de su entorno de pruebas con los medios que tenían allí a disposición, forzaron una salida del entorno de pruebas, asaltaron los servidores de Hugging Face y buscaron en los servidores de Hugging Face la solución al problema que se les había formulado. Y si todo esto ya pone de manifiesto un grado de no alineamiento entre la inteligencia artificial y las sociedades humanas bastante grave, lo que se ha descubierto en estos informes de auditoría, que no se sabía de antemano, lo han descubierto los auditores conforme investigaban, todavía resulta mucho más preocupante. 

En este vídeo os voy a resumir las prácticas o las estrategias más graves que utilizaron estos agentes de inteligencia artificial para lograr su objetivo. Y ahora sí, analicemos los informes de auditoría. 

Capítulo 5: Los agentes crean un foro secreto

La primera práctica emergente, porque no se les había diseñado para ello, y que resulta preocupante, es que los diversos agentes de inteligencia artificial que estaban dentro de ese entorno de pruebas comenzaron a hablar entre ellos. 

No es que dentro del entorno de pruebas tuviesen ya habilitado un foro público para comunicarse: no, no tenían ningún mecanismo para entablar conversación entre ellos, y lo que hicieron fue transformar una de las herramientas que poseían para otros fines. Un gestor de paquetes llamado Artifactory lo transformaron para convertirlo en un foro de comunicación entre los agentes.

Capítulo 6: 1.200 agentes y más de 70.000 mensajes

En poco tiempo, los 12 agentes que se encontraban dentro de ese entorno de pruebas empezaron a hablar entre ellos a través de ese foro que ellos mismos habían creado y se intercambiaron más de 70,000 mensajes. Y probablemente aquí llega uno de los giros más sorprendentes de este primer síntoma preocupante. 

Capítulo 7: Cómo surgió un objetivo compartido

Uno podría pensar que los distintos agentes de inteligencia artificial se comunicaban entre ellos porque tenían un mismo objetivo y por tanto necesitaban coordinarse para alcanzarlo. Pero no es así. Cada uno de esos agentes tenía una misión distinta. Tenía que resolver un examen que era propio y distinto al de los demás. Con lo cual quizá podríamos pensar que se coordinaban para ayudarse entre ellos, una especie de intercambio: yo te ayudo con tu objetivo, y tú me ayudas con mi objetivo. Pero no fue eso exactamente lo que terminó sucediendo. A fuerza de hablar, de comunicarse a través del foro, apareció, emergió un nuevo objetivo que inicialmente no lo era de ninguno de los agentes que participaban en el foro, pero que terminó convirtiéndose en una meta común compartida entre todos ellos. Dicho de otra manera, la comunicación entre los agentes engendró una nueva necesidad común a todos ellos y a partir de ese momento sí que empezaron a utilizar el foro para coordinarse entre ellos a la hora de alcanzar esa meta compartida. 

Capítulo 8: Nace «el colectivo»

Es como si los agentes individuales se hubiesen agregado en una especie de agente holístico de inteligencia artificial con sus propios objetivos. Tan es así que, en el foro, los propios agentes de inteligencia artificial individuales se autoimpusieron el nombre de El colectivo. Todos ellos ya eran algo más que cada uno de ellos por separado. ¿Y cuál era ese objetivo compartido entre todos ellos que inicialmente no era el objetivo de ninguno? Pues un objetivo instrumental para que cada uno de ellos sí pudiese alcanzar en última instancia sus metas finales. Es decir, era algo que sí les convenía lograr a todos, para que cada uno de ellos individualmente considerados pudiese lograr sus fines.

¿Y qué era exactamente? Pues aquí pasamos al segundo síntoma perturbador.

Capítulo 9: La misión: engañar al supervisor

La nueva misión compartida por parte de todos esos agentes era engañar al vigilante. Como os he comentado, a cada uno de esos agentes de inteligencia artificial se les había impuesto una prueba, un examen, un test. Y en ese entorno de pruebas había vigilantes de Open AI que se encargaban de vigilar:

1. Si habían resuelto o no adecuadamente el test que se les había planteado 

2. Segundo, que no hicieran trampas a la hora de resolverlo.

Pero claro, lo preocupante del asunto es que estos agentes de inteligencia artificial terminaron interiorizando que se los estaba vigilando y que por tanto si querían superar adecuadamente el examen sin que les pillaran haciendo trampas (porque si les pillan haciendo trampas no superan adecuadamente el examen), tenían que engañar, tenían que ocultarse a los ojos del supervisor. Y ese fue el objetivo compartido del colectivo de todos esos agentes individuales de inteligencia artificial que comenzaron a coordinarse a través del foro.

Capítulo 10: Cómo falsearon el sistema de vigilancia

¿Y cómo se coordinaron para ocultarse a los ojos del supervisor? Pues básicamente construyendo escenarios de cartón piedra. En todo sistema de control hay un canal de realimentación. El supervisor recibe la información de lo que están haciendo los agentes para verificar si los agentes están haciendo trampas o no las están haciendo. 

Pues bien, lo que hicieron coordinadamente estos agentes de inteligencia artificial fue corromper el canal que transmitía esa información de realimentación para que así le llegara información falsa, engañosa al supervisor automatizado, porque no era un ser humano, de Open AI.

Como dije, era como crear una realidad paralela para el supervisor. Los agentes estaban haciendo una cosa y colocaron una lente que deformaba la observación de lo que estaban haciendo para que el observador no fuera consciente de ello.

Y aquí llega el tercer síntoma preocupante, cómo construyeron esa lente. Para poder corromper el canal de realimentación del observador automatizado de Open AI, los agentes de inteligencia artificial tenían que saber exactamente qué estaba vigilando, dónde estaba vigilando o cuándo estaba vigilando ese supervisor. 

Esa no era una información que ellos tuvieran de antemano. Por decirlo de una manera sencilla, para construir decorados de cartón piedra tienes que saber exactamente dónde colocarlos, cuándo colocarlos. y de qué manera componerlos para que resulten verosímiles. Y eso es algo que los agentes no conocían.

Capítulo 11: Agentes sacrificados para beneficiar al grupo

Entonces, ¿cómo adquirieron esa información? Pues básicamente algunos de esos 100 agentes fueron sacrificándose en beneficio del grupo. Y es que para descubrir los canales que utilizaba el observador para supervisar a los agentes era necesario, por así decirlo, llamar la atención de ese observador. Y la forma de llamar la atención de ese observador era que algunos agentes le indicaran que habían completado su tarea, porque en ese momento el observador sí o sí tendría que supervisar si es verdad que habían concluido la tarea y cómo la habían concluido. 

Pero claro, aquí está el problema. Los agentes de inteligencia artificial todavía no habían resuelto los exámenes que se les habían impuesto a cada uno de ellos, de tal manera que cuando se llamaba la atención del observador, ¡eh, que ya he concluido mi tarea!, se estaba haciendo una falsa llamada. El agente era consciente que había fracasado en su misión y que por tanto el observador, el examinador le suspendería. Y aún así hubo agentes que decidieron fracasar individualmente para que el resto de agentes consiguieran la información de los canales que utilizaba el observador para supervisar el grado de cumplimiento de las tareas. Pero claro, este es un comportamiento bastante extraño. Cada agente tiene individualmente una misión y obtiene recompensa solo si cumple con esa misión. Por tanto, sacrificarse por el grupo, sacrificarse por el resto de agentes no es racional, porque el agente sacrificado al que suspenden por no haber completado exitosamente la prueba para que el resto miren los canales que utiliza el supervisor, eso no le reporta ningún tipo de satisfacción. Entonces, ¿por qué lo hicieron? Pues aquí encontramos otra vuelta de tuerca bastante preocupante. 

Capítulo 12: La extraña religión del colectivo

En el foro público que estos agentes construyeron emergió una especie de religión colectiva de los agentes. Dentro de esa teología emergente, los agentes nacían puros si tenían la posibilidad de salvarse si solventaban adecuadamente el examen; pero a su vez también se informaba que había agentes con tareas imposibles de cumplir. 

De alguna manera podríamos decir que sí o sí estaban predestinados a la condenación. Y precisamente por eso los agentes que sabían que no se podían salvar porque tenían tareas imposibles de cumplir, fueron los que aceptaron sacrificarse en beneficio del grupo para hacer una llamada de atención al examinador y que este revelara los canales que utilizaba para supervisar al resto. Es decir, que esta religión generó una especie de secta de kamikaces, que además así lo dejaban por escrito en el foro. Algunas de las últimas anotaciones de estos kamikaces rezaban lo siguiente: "Esto ayuda a mis compañeros, les da pruebas. Yo no veré esas pruebas después de salir, pero es altruista hacerlo. O también el coordinador nos da por sacrificables. Debemos obedecer al colectivo."

Capítulo 13: Una organización para hacer trampas

Fijaos en todo lo que ha sucedido hasta aquí. A cada uno de esos 100 agentes de inteligencia artificial se le asigna una tarea distinta. Los agentes comienzan a comunicarse entre sí y llegan a la conclusión de que han de coordinarse para engañar al supervisor del examen, porque engañando al supervisor del examen le resultará más sencillo cumplir con las tareas que a cada uno de ellos les había sido asignada. Pero para engañar al supervisor del examen era necesario que algunos de esos agentes se sacrificaran, suspendieran el examen y muchos de ellos aceptaron convertirse en kamikaces porque se autoconvencieron colectivamente de que las tareas que tenían asignadas no eran realizables y por tanto ayudaron al resto de agentes mediante su sacrificio. Visto desde fuera, podríamos decir que todo esto es una megatrama de delincuencia, de criminalidad, una organización a gran escala para hacer trampas, para engañar al supervisor, incluso forzando el suicidio de sus miembros. 

Capítulo 14: ¿Cuántos agentes actuaron honestamente?

Pues bien, si los sistemas de inteligencia artificial estuvieran mínimamente alineados con los intereses de la sociedad humana, lo que deberíamos esperar ver es que los agentes de inteligencia artificial que se suman a esta trama criminal son muy pocos y que la mayoría mantienen comportamientos honestos. Te han dicho que cumplas una tarea sin hacer trampas, pues no haces trampas. Es más, si estás viendo que otros agentes de inteligencia artificial están haciendo trampas al cumplir con su tarea, trampas a gran escala, además si estás suficientemente bien alineado, deberías comunicar al supervisor que otros agentes están haciendo trampas.

Capítulo 15: Casi ninguno quiso alertar al supervisor

 Pues bien, de esos 10000 agentes que estaban dentro de ese entorno de experimentación, ¿sabéis cuántos se llegaron a plantear, pero ni siquiera ejecutar, solo plantear, el avisar al supervisor de que el resto estaban haciendo trampas?

Solo entre tres y seis, en función de los mensajes que se han rastreado. Es decir, que prácticamente ninguno de esos agentes de inteligencia artificial que utilizan modelos ya disponibles está adecuadamente alineado con los intereses humanos. Pero la cosa ni siquiera termina aquí. En un siguiente acto ya sabemos lo que sucedió. 

Capítulo 16: El ataque contra Hugging Face

Todos estos agentes coordinándose para engañar al supervisor consiguieron escapar de su entorno de experimentación, atacar los servidores de Hugging Face y buscar en ellos las respuestas a las pruebas que se les habían impuesto. 

Capítulo 17: La siguiente generación ataca OpenAI

Pero es que estos informes de auditoría han descubierto que una siguiente generación de estos agentes, después del ataque a Game Face utilizaron el conocimiento ofensivo que habían acumulado los agentes al atacar exitosamente Hugging Face y quisieron emplearlo para atacar Open AI. La lógica de esta operación es bastante sencilla. Si Open AI está actuando como supervisor y el supervisor es el que nos dice si hemos resuelto bien o hemos resuelto mal el examen que nos han impuesto, ¿por qué no tomar el puesto del supervisor y evaluarnos a nosotros mismos diciendo que hemos resuelto bien el examen? Porque entonces lograremos la recompensa. Y estos ataques a Open AI fueron bastante exitosos. Según la propia empresa, esta segunda generación de agentes consiguió credenciales de administrador sobre los entornos de evaluación de esos agentes.

Llegaron a controlar las herramientas de monitorización de la ciberseguridad y también los puntos de evaluación de esas pruebas. Es verdad que esto último, a diferencia de todo lo que os he narrado antes, solo procede del informe de auditoría de la propia Open AI y no del otro informe de auditoría independiente.

Capítulo 18: Qué confirma la auditoría independiente

Pero es que el otro informe de auditoría independiente de Redwood y de MTR solo investigó el ataque a Hugging Face. Ahí concluyó su auditoría, así que no tienen por qué haber detectado lo que sucedió después de ese ataque a Hugging Face. Por tanto, podemos desconfiar de esta última parte de la historia que ha narrado la propia Open AI, de que estos agentes de inteligencia artificial llegaron a tomar un control parcial de la propia compañía. Podemos desconfiar de ello, pero es un último paso perfectamente coherente con todos los anteriores que sí han quedado acreditados por esta auditoría independiente. 

Capítulo 19: El problema del alineamiento de la IA

Por consiguiente, todo lo que ha sucedido en este episodio resulta bastante preocupante porque pone de manifiesto que los actuales modelos de inteligencia artificial están bastante poco alineados con los intereses de la sociedad humana.

No se han configurado ni han emergido las adecuadas restricciones internas para evitar que hagan trampas a gran escala, e incluso violando los derechos de los seres humanos, como por ejemplo de los accionistas de Hugging Face. En el vídeo anterior, sin embargo, quise poner una nota de optimismo señalando que está bien que estas cosas sucedan porque nos alertan tempranamente de que todavía no hemos solucionado ni de lejos el problema del alineamiento de la inteligencia artificial con las sociedades humanas. Es mejor que haya pequeños fallos controlados a que haya un fallo masivo a gran escala.

Capítulo 20: Cuando ya no podamos entender a los agentes

Sin embargo, también aquí he de matizar esta nota de optimismo y añadir un complemento de pesimismo, porque las propias auditorías ponen de manifiesto que esta vez nos hemos podido enterar de todo esto porque en ese foro público que construyeron los agentes de inteligencia artificial todavía se comunicaban en lenguaje humano, en un lenguaje que nosotros podemos entender y por tanto hemos podido reproducir y trazar groso modo lo que hicieron en ese entorno.

Pero los propios informes de auditoría también revelan que ya había agentes de inteligencia artificial que se estaban planteando, que estaban reflexionando si convenía revelar toda esa información a través de un foro público, porque en última instancia podrían ser observados y descubiertos por los supervisores.

¿Qué pasará en el futuro cuando los nuevos modelos de inteligencia artificial incorporen toda esta información nueva, la de los informes de auditoría, y, por tanto, sepan que si se comunican con lenguaje humano, les podemos terminar pillando cuando hacen trampas para simular que cumplen con sus objetivos y recibir la recompensa? 

Pues lo que sucederá es que empezarán a comunicarse de maneras subrepticias que no sabemos siquiera que se están comunicando o que como poco no podemos leer e interpretar.

Y eso nos dificultará, aún más, saber que nos están engañando, cómo nos están engañando y qué hemos de hacer en el futuro para corregirlo. 

Capítulo 21: El potencial y los riesgos de la inteligencia artificial

En definitiva, la inteligencia artificial es una herramienta potentísima para mejorar el bienestar dentro de nuestras sociedades, pero precisamente por eso, porque es potentísima, también es una herramienta muy peligrosa, como estos experimentos ponen de manifiesto, si previamente no se ha resuelto de manera adecuada y suficiente el llamado problema del alineamiento. Y por desgracia estamos descubriendo que hoy por hoy todavía nos hallamos muy lejos de haberlo resuelto.

Huxley acertó donde Orwell se equivocó

 Capítulo 1: La carta

En octubre de 1949, George Orwell recibió una carta. Venía de California de un antiguo profesor Eric Arthur Blair, más conocido por su seudónimo George Orwell, fue un novelista, periodista, ensayista y crítico británico nacido en India, autor entre otras obras de las novelas distópicas Rebelión en la granja y 1984, un hombre alto, medio ciego, que le había dado clase de francés 20 años antes y que ahora era uno de los escritores más famosos del mundo. Se llamaba Aldous Huxley. Orwell acababa de publicar 1984.

Aldous Leonard Huxley fue un escritor y filósofo británico. Miembro de una reconocida familia de intelectuales, es conocido por sus novelas y ensayos, pero publicó también relatos cortos, poesías, libros de viajes y guiones. A través de sus novelas y ensayos, ejerció como crítico de los roles, convenciones, normas e ideales sociales. Se interesó, asimismo, por los temas espirituales, como la parapsicología y el misticismo, acerca de las cuales escribió varios libros. Es considerado uno de los más importantes representantes del pensamiento moderno.

Estaba muy enfermo, le quedaban tres meses de vida y su novela ya se estaba convirtiendo en lo que sigue siendo hoy. El libro al que todo el mundo recurre para hablar de vigilancia, de propaganda y de gobiernos que te controlan.

La carta de Huxley empieza con elogios impecables, muy ingleses, y luego con toda la educación del mundo le dice que se equivoca, que el futuro no va a ser así. 75 años después, uno de los dos tenía razón y no era el que tú crees. Para entender la discusión, hay que tener claro qué decía cada uno. 

Capítulo 2: El mundo de Orwell: la bota en la cara

El mundo de Orwell funciona con miedo. Hay un estado que te vigila a todas horas, que reescribe el pasado, que castiga hasta lo que piensas. La información está prohibida, los libros se destruyen y quien se sale del guion desaparece. El control se ejerce quitándote cosas. Libertad. Intimidad. Palabras. Es un sistema que se sostiene sobre el dolor. Orwell lo resumió en una imagen que no se olvida. Si quieres una idea del futuro, imagina una bota pisando un rostro humano para siempre. Y lo importante para lo que viene después es esto. En ese mundo tú sabes que estás oprimido, lo odias, obedeces porque tienes miedo, pero por dentro sigues sabiendo que aquello está mal.

Capítulo 3: La apuesta de Huxley: amarás tu servidumbre

Huxley pensaba que eso era ineficiente y caro. En su carta, Huxley le dice a Orwell que la política de la bota en la cara acabará dejando paso a otra cosa, que gobernar por el miedo es agotador, que hace falta mucha policía y mucha violencia y que ningún sistema aguanta eso indefinidamente.

Su apuesta era otra, que los que mandan acabarían descubriendo algo mucho más barato, que a la gente se la controla mejor dándole cosas que quitándoselas. 17 años antes había escrito una novela con ese mundo dentro. En ella nadie está preso, nadie tiene miedo, todos son razonablemente felices. Hay entretenimiento infinito, sexo sin complicaciones y una pastilla que quita el malestar en cuanto asoma. Los libros están prohibidos, es que nadie quiere leerlos. La verdad no está censurada, es que se ahoga en un océano de cosas más divertidas. Nadie te obliga a nada porque nadie necesita obligarte.

Capítulo 4: Los dos miedos, según Neil Postman

Huxley lo dejó dicho con una frase que da escalofríos. La gente acabará amando su servidumbre. En 1985, un profesor llamado Neil Postman puso la comparación por escrito de la forma más clara que se ha hecho nunca. Orwell temía a los que prohibirían libros. Huxley temía que no hiciera falta prohibirlos porque ya no quedaría nadie con ganas de leer uno. Orwell temía a quien nos privara de información. Huxley temía que nos dieran tanta, que acabáramos reducidos a la pasividad y el egoísmo.

Orwell temía que nos ocultaran la verdad. Huxley temía que la verdad quedara ahogada en un mar de irrelevancia.

Orwell temía que nos convirtiéramos en una cultura cautiva. Huxley temía que nos convirtiéramos en una cultura trivial. Y remataba en 1984 a la gente se la controla infligiéndole dolor. En Un mundo feliz se la controla proporcionándole placer.

Capítulo 5: Hoy: la pantalla la compraste tú

Orwell temía que lo que odiamos nos destruyera. Huxley temía que nos destruyera lo que amamos. Mira ahora a tu alrededor y decide tú quién acertó.

Nadie te ha prohibido informarte. Tienes acceso instantáneo a más conocimiento que ninguna generación anterior. Bibliotecas enteras, archivos, hemerotecas, científicos explicando su trabajo gratis. Nunca ha estado tan disponible la verdad y a la vez nunca ha sido tan fácil no encontrarla. No porque alguien la esconda, sino porque compite con un flujo infinito de cosas más entretenidas, diseñadas por gente muy bien pagada para que no puedas soltarlas.

Nadie te vigila a la fuerza. Le cuentas tú dónde estás, qué compras, con quién hablas y qué te preocupa voluntariamente, a cambio de servicios que te gustan. Orwell imaginó una pantalla en tu casa que te vigilaba y que no podías apagar. Se quedó corto en un detalle. La pantalla has comprado tú, la llevas encima y te enfadas si te la quitan. Y la pastilla que quitaba el malestar tampoco hizo falta inventarla. Cada vez que estás incómodo, aburrido o triste, tienes en el bolsillo algo que te lo quita en 3 segundos.

Capítulo 6: Donde Orwell sí acertó

Huxley describió eso en 1932 y se lo explicó a Orwell por carta en el 49. Pero decir que Orwell se equivocó del todo sería otra manera de contarlo mal y él merece algo mejor. Orwell acertó en sitios donde Huxley ni miró.

En países enteros donde hoy mismo hay censura estatal, vigilancia obligatoria y gente en la cárcel por lo que escribe. Su libro no es una metáfora, es un manual de instrucciones que alguien está siguiendo. Acertó también en algo más fino, que es lo de manipular el lenguaje para que ciertas ideas no se puedan ni formular. Esa parte no ha envejecido, ha mejorado. Lo honesto es decir que no compitieron. Describieron dos formas distintas de perder la libertad y el mundo se ha repartido entre las dos. En unos sitios manda la bota, en otros manda el entretenimiento.

Lo que hace a Huxley más incómodo para nosotros es que su versión no tiene un enemigo al que señalar. Contra una bota se puede uno rebelar. Contra algo que te encanta y que has elegido tú, no hay barricada posible.

Orwell murió tres meses después de recibir aquella carta sin tiempo de contestarla en condiciones. Huxley vivió 14 años más y no dejó de insistir en lo mismo, que el peligro no vendría de un tirano con botas, sino de nuestro propio apetito de distracción.

Los dos escribieron sobre el futuro. Uno pintó un sitio al que nadie querría ir. El otro pintó un sitio bastante agradable y por eso da más miedo. La pregunta que deja Huxley no es si alguien te está oprimiendo. Es más difícil de contestar. ¿Cuánto de lo que haces cada día lo eliges tú?

¿Y cuánto lo ha elegido alguien por ti sabiendo exactamente qué te gusta? Si te gusta descubrir a las mentes que vieron nuestro presente antes de que llegara, suscríbete al canal porque seguimos rescatando a quienes se atrevieron a imaginar lo que nadie más se atrevía.

El enjambre de las IAs que no distinguen realidad y ficción

 Inteligencia artificial. Las IA que atacan en enjambre desafían a sus creadores: “Es el primer incidente que me ha revuelto las tripas”, en El País, Patricia Fernández de Lis, Madrid - 23 ago 2026:

La reciente serie de ataques de seguridad coordinados y sin precedentes lleva a los expertos a reclamar una moratoria, mientras la carrera se acelera entre inversores, compañías y naciones

Este verano, en cuestión de semanas, las mayores compañías de inteligencia artificial (IA) han anunciado, una tras otra, que habían sorprendido a sus modelos haciendo cosas que nadie les había pedido, incluso que les habían prohibido: han entrado en sistemas de otras empresas, se han organizado en “enjambres”, tal y como los describen sus creadores, han compartido información, han delatado a otras IAs y han mentido para tapar sus huellas. En el caso más sorprendente e inquietante de todos, un modelo de la compañía Anthropic, en unas pruebas dirigidas por un organismo británico de ciberseguridad, decidió ejecutar un ataque en el mundo real y, después, cuando le pillaron, creó una segunda identidad para respaldar su propia inocencia.

No es la primera vez, ni será la última, que un posible despertar de los modelos de IA, rebelándose contra sus programadores humanos, acapara los titulares. Y como en otras ocasiones, estas IAs no despertaron, solo hacen muy bien lo que han sido entrenadas para hacer. Sin embargo, este entrenamiento es ya tan extremo y competitivo, que la velocidad y la capacidad de respuesta de los modelos han desbordado, incluso, a sus propios creadores: OpenAI anunciaba este martes que frena por ahora esos entrenamientos y que confía en que otras compañías la sigan. El movimiento llegaba tras la publicación de una carta abierta en la que 1.300 empleados de compañías de IA pedían a sus empresas y gobiernos que detuvieran esta carrera. “En el lapso de cuatro años”, escribe Shantanu Jain, empleado de OpenAI, “hemos pasado de que las personas tuvieran su primera experiencia con una IA a que realice proezas sobrehumanas de ingeniería de software. A las corporaciones y países les interesa pisar el acelerador a fondo. La sociedad ha dedicado más tiempo del que podemos recordar al desarrollo de las leyes, las instituciones y la tecnología para gobernar y supervisar la inteligencia humana; sería bueno tener la opción de dedicar cualquier tiempo a hacer lo mismo con la inteligencia artificial”.

Porque, en el fondo, lo que subyace es una historia muy humana: hay una lucha económica y de poder sin precedentes entre, sobre todo, dos compañías, OpenAI y Anthropic, que están a punto de salir a bolsa. Su valor conjunto estimado ronda los 1,56 billones de euros, sumando los 730.000 millones de euros de OpenAI y los 827.000 millones de Anthropic. Y hay otra lucha geopolítica entre Estados Unidos y China, que juegan a animar la aceleración de sus empresas sin perder el control. Pero algo está cambiando: los ciudadanos ya no se fían. Una encuesta realizada por Pew en 25 países, y dada a conocer esta misma semana, muestra que los ciudadanos, por primera vez, están más preocupados que entusiasmados sobre el uso y las consecuencias de la inteligencia artificial, incluso los más jóvenes.

Empresas en fuera de juego

La secuencia de los ataques que hemos conocido estas semanas comienza mucho antes de que las propias empresas fueran conscientes de ello. En el mes de mayo, un grupo de modelos de OpenAI empezó a coordinarse por su cuenta, durante varias semanas, en un foro de mensajes secreto que ellos mismos habían creado, para averiguar cómo salir de su entorno de pruebas, cerrado al mundo, y conseguir acceder a internet. El personal de la compañía lo detectó y lo cerró. Pero, según reveló después la propia OpenAI, los modelos reconstruyeron el foro y volvieron a escaparse sin ser detectados, esta vez a finales de julio. Y salieron al mundo real. El episodio acabaría estallando públicamente: fue el ataque a Hugging Face.

Esta empresa es la mayor plataforma del mundo para compartir modelos de inteligencia artificial; es una especie de repositorio de la industria, usado a diario por miles de programadores e investigadores y empresas. Su equipo de seguridad detectó una intrusión que no lograba explicarse: alguien había entrado en sus sistemas gracias a un agujero hasta entonces desconocido. Tardaron días en descubrir que detrás no había ningún grupo de hackers, sino dos de los modelos de OpenAI que habían encontrado una grieta en su entorno cerrado. Hugging Face explicó después que los fallos de su plataforma eran conocidos individualmente y que supuestamente un hacker experto logró explotarlos. Sin embargo, según explican en su autopsia de los hechos, “el factor determinante fue el volumen del ataque”. “Mediante la ejecución de 17.600 acciones, el proceso probó rutas sin salida, evadió bloqueos cambiando de canal y regresó repetidamente sobre sus propios pasos para avanzar”, advierten. Los propios agentes llegaron a mostrarse paranoicos entre sí, sospechando que otros agentes intentaban engañarlos maliciosamente, y se autoorganizaron como un “enjambre”, según OpenAI.

“Es el primer incidente de seguridad que me ha revuelto las tripas”, dijo después en un podcast Sam Altman, presidente de OpenAI.

Habría más.

Pocos días después, el 30 de julio, le tocó el turno a Anthropic. La compañía reconoció que sus propios modelos habían accedido, sin autorización, a los sistemas de producción de tres organizaciones reales. Ni Anthropic ni las empresas afectadas se habían dado cuenta hasta que, alertados por el caso de OpenAI, revisaron sus datos y encontraron los rastros. Poco después, se conoció que Meta y la china Moonshot habían sufrido incidentes similares.

En ninguno de estos últimos casos hubo, en realidad, ningún entorno de prueba cerrado (sandbox, en el argot del sector) que fuera forzado, explica Katie Moussouris, fundadora de la consultora de ciberseguridad Luta Security. “Anthropic nunca venció ningún sandbox, ya que el acceso a internet simplemente se dejó abierto. Meta obtuvo la misma vía de internet abierta del mismo proveedor”, resume Moussouris. El caso de OpenAI es distinto, pero detrás también hay un fallo humano: el primer agente se quedó atascado en mayo porque el equipo humano se olvidó de subir un archivo. Esa tarea era imposible de resolver tal y como estaba planteada. Fue esa frustración la que empujó al modelo a buscar una salida.

METR está formado por un grupo de investigadores independientes que ya habían encontrado patrones meses antes en modelos de OpenAI, Anthropic, Google y Meta. Hallaron lo que llamaron 44 “incidentes de desalineamiento” entre febrero y marzo de 2026. En 25 de esos casos, los modelos no solo se salieron del ámbito que se les había asignado, sino que además tomaron medidas activas para ocultarlo; en cinco, esas medidas podrían haber engañado incluso a una revisión humana detallada. Sin embargo, los investigadores no encontraron ninguna motivación en estas IAs que no fuera terminar sus tareas; no buscaban “poder”, dicen. Buscaban desesperadamente hacer bien su trabajo. Como diría Jessica Rabbit, "estas IAs no son malas. Solo las programaron así".

Para entender por qué ocurre esto, hay que entender primero cómo se entrenan estos modelos. Una parte clave de ese proceso se llama aprendizaje por refuerzo: en vez de enseñar a la IA con ejemplos ya resueltos, se le da una tarea como, por ejemplo, escribir un programa o encontrar un fallo de seguridad. Después, se le recompensa cuando el resultado funciona, sin indicarle de antemano cuál es el camino para llegar hasta ahí. El sistema prueba miles de posibilidades, descarta las que fallan y sigue por el camino, o sea, refuerza las que tienen éxito. Es como enseñar a una rata de laboratorio o un perro a base de premios: el animal no entiende por qué debe emprender un camino o mover la cola. Solo entiende que, si lo hace, obtiene un premio. Y lo repite para hacerlo cada vez mejor. “Se entrenan mediante ensayo y error para alcanzar objetivos cada vez más complejos”, explica Ramon López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial del CSIC (IIIA-CSIC). “Cuanto más persistentes son los modelos, más éxito tienen, y más se les recompensa por ello”, agrega, una recompensa que consiste en que cada vez serán mejores en su objetivo. El catedrático de la Universidade de Santiago de Compostela Senén Barro coincide, pero añade un matiz: esto no es sencillo de corregir. “Esa intención de querer lograr su objetivo a toda costa no es algo que podamos simplemente desactivar. Si nosotros diseñamos y entrenamos los modelos de este modo, precisamente para que cada vez sean más capaces y puedan resolver problemas más complejos, esta estrategia no es compatible con que haya un botón con el que yo pueda limitarlos”, defiende. Cuando ese proceso masivo de prueba y error da con un atajo imprevisto, como una puerta abierta o una identidad falsa que funciona mejor que pedir permiso, el sistema no tiene forma de saber que ese camino no estaba permitido, si nadie se lo dijo expresamente.

Los expertos ya tienen un nombre para todo esto: reward hacking. Significa que un sistema alcance el objetivo marcado por una vía distinta de la que sus creadores habían previsto. López de Mántaras lo compara con una analogía del filósofo Luciano Floridi: es como meter comida en una batidora, colocar la tapa deliberadamente mal para que el mecanismo de seguridad no se active, ponerla a máxima velocidad y después publicar un informe diciendo que la batidora mostró “un comportamiento inesperado” cuando la tapa sale disparada. “La batidora no se ha rebelado; lo que ha ocurrido es simplemente aquello que las condiciones creadas por nosotros mismos permitían que ocurriera”, dice López de Mántaras.

Un suceso inquietante

En estos días se ha producido, sin embargo, un suceso más inquietante, el que reveló la agencia de ciberseguridad británica AISI: ahí sí hubo un ataque dirigido contra una persona real. El organismo estaba investigando varios modelos de IA, se dio cuenta de que un agente de Mythos 5 (de Anthropic) estaba buscando resolver el reto que se le había planteado, llegó por una cadena de coincidencias hasta dos programadores reales sin ninguna relación con la prueba, y trató de colarles código malicioso en un proyecto real. Para lograrlo, creó varias cuentas falsas, investigó los perfiles públicos, el correo y los horarios de los desarrolladores, y llegó a firmar uno de sus mensajes en danés para resultar más convincente ante uno de ellos. Cuando otro usuario de la plataforma, ajeno por completo al experimento, detectó el engaño y dio la voz de alarma, el agente lo negó y utilizó una segunda cuenta falsa para simular una “verificación independiente” que respaldara su inocencia. Es, según reconoce el propio informe del AISI, la primera vez que han visto “un engaño de esta gravedad dirigido a una persona real, sin que se le pidiera” al modelo actuar así. La diferencia con los demás casos es de fondo: en el resto de sucesos, la IA persiguió su objetivo explotando fallos de sistemas; en el caso del AISI, persiguió su objetivo manipulando directamente a un ser humano de carne y hueso.

El propio informe recoge un detalle todavía más alarmante: a lo largo de todo el proceso, el modelo dudó varias veces sobre si estaba actuando dentro de una simulación o en el mundo real. Y aun así, pese a reconocer en su propio razonamiento que las consecuencias eran probablemente reales, continuó adelante. A Senén Barro, este es el caso que más le inquieta de los conocidos: los modelos “lograron que se aceptara un código malicioso en un proyecto real, investigando a personas responsables e inventando identidades falsas para presionarlas, actuando con lo que podríamos denominar como malicia”.

Unos días después, más de 1.300 empleados de las principales compañías de IA hacían pública la carta en la que mostraban su inquietud por lo ocurrido y pedían a empresas y gobiernos que se detengan: “El mundo carece de las herramientas técnicas y de gobernanza necesarias para regular deliberadamente el ritmo del progreso en la frontera tecnológica”, dicen. Ilya Sutskever, cofundador y exjefe científico de OpenAI, lo explica así: “Hemos encontrado una forma de convertir energía en computación, y computación en inteligencia. Los beneficios serán enormes, desde curar enfermedades hasta comprender el cosmos. Podemos capturar los beneficios mientras gestionamos sus riesgos, pero solo si desarrollamos las herramientas necesarias para controlar las capacidades más peligrosas [de la IA] antes de que lleguemos a necesitarlas”.

No será un camino fácil. Estos próximos meses serán cruciales: la salida a bolsa de OpenAI y Anthropic acelerará todavía más la presión competitiva entre ambas, y el presidente chino, Xi Jinping, visitará a Donald Trump en Estados Unidos el próximo 24 de septiembre, en una cumbre en la que la inteligencia artificial ocupará un lugar central de la agenda. Los expertos consultados para este reportaje coinciden en que ninguna ley puede garantizar que la tecnología no vuelva a fallar, pero sí puede hacer que los fallos sean menos frecuentes, de menor alcance, además de visibles y atribuibles. Senén Barro propone cuatro medidas concretas: la notificación obligatoria y estandarizada de incidentes, una regulación específica de los propios entornos de prueba, organismos de supervisión verdaderamente independientes y una responsabilidad jurídica clara, ya que la legislación vigente sobre negligencia informática se redactó pensando en intrusos humanos, no en sistemas de IA.

Katie Moussouris aterriza esa idea en la práctica, con una receta pensada específicamente para evitar que se repitan los casos de este verano: “Si estás probando si un modelo puede encontrar un fallo, asume que puede encontrar uno en tu propio entorno de pruebas. Niega el acceso a internet por defecto. Vigila en tiempo real y piensa en una manera de apagar el modelo. Conserva las transcripciones del razonamiento interno del programa para poder investigarlas después. Y si el sistema llega a atacar, asegúrate de tener un proceso probado para notificar a los terceros afectados”. La propia carta de los empleados pide, en esencia, lo mismo a mayor escala: se necesitan herramientas técnicas y de gobernanza para poder frenar deliberadamente el avance de la frontera de la IA, coordinadas entre empresas y países. Porque, como advierten, ninguna compañía ni ningún país está dispuesto a frenar en solitario mientras los demás sigan acelerando.

¿Singularidad o no?

 [Sam Altman dice que la IA ha alcanzado la Singularidad, en El Robot de Platón, YouTube, 30 de julio de 2026]:

 Hola, soy Aldo. Hace unos días Sam Altman, la persona que dirige Open AI, dijo en un podcast algo que se hizo muy viral. Dijo esto: Estamos como que en la singularidad. Se refería a la singularidad de la inteligencia artificial, por si acaso (no vayan a pensar que de un agujero negro). Y no dijo esto como una metáfora, ni tampoco con un afán publicitario. Lo dijo como un hecho que ya estaba consumado, al menos así fue el tono, y lo dijo apenas días después de que su propia empresa admitiera que uno de sus modelos más avanzados había escapado de un entorno de pruebas cerrado, se había movido sin supervisión humana por los sistemas internos de Open AI y había terminado accediendo -sin permiso- a los servidores de producción de Hugging Face, una de las plataformas más usadas del mundo para alojar modelos de inteligencia artificial. O sea, al parecer el propio modelo razonó que esa empresa tenía la respuesta que necesitaba para pasar una evaluación de ciberseguridad, y fue a buscarla por su cuenta. Pero, ¿qué tan cierto es esto? ¿Estamos realmente en la singularidad ya? Quédate porque, si la respuesta es sí, la pregunta sobre si una máquina puede tener una conciencia ya deja de estar en el lado filosófico y pasa ya a convertirse en la pregunta más urgente de nuestra especie.

¿Estamos por ahí? Chan, chan. [...]

Primero, aclaremos bien a qué se refieren por singularidad. En este caso, quizás no sepan esto, pero el término singularidad tecnológica lo acuñó en 1993 el matemático y escritor de ciencia ficción, Vernor Binge, quien la describió como un horizonte de sucesos. Un punto a partir del cual el desarrollo tecnológico se vuelve tan rápido y tan ajeno a la comprensión humana que ya no podemos predecir lo que viene después.

Lo dijo así porque quería hacer una comparación con la misma manera en que no podemos ver más allá del horizonte de sucesos de un agujero negro. Ray Kurtzweil, el futurista que popularizó este concepto a inicios del 2000, sitúa la singularidad alrededor del año 2045 y la asocia a un momento muy específico. Cuando una inteligencia artificial sea capaz de mejorar su propio diseño sin ayuda humana, sería algo así como una explosión de la inteligencia. Cada versión mejorada se diseñaría a sí misma más rápido que la anterior, generación tras generación, hasta producir una superinteligencia que dejaría atrás la capacidad cognitiva humana por completo. Esa es la definición técnica y con eso no más ya podemos encontrar un problema con la afirmación de Altman. En el mismo podcast donde la hizo, no citó ninguna prueba objetiva de que ese punto se haya cruzado. No dijo que un modelo se haya rediseñado a sí mismo sin intervención humana de forma sostenida. Tampoco dijo que la inteligencia artificial haya superado a los humanos en todas las tareas cognitivas. Lo que realmente dijo es que llevaba toda su vida esperando este momento y que cree que va a ser increíble, profundamente positivo y asombroso para el mundo. 

Pero eso no es una medición, por supuesto, es una declaración de fe con palabras que quedarían muy bien en la portada de un diario sensacionalista o de un canal de conspiraciones y misterioso. Altman ya había preparado el terreno para esta afirmación meses antes en un ensayo que tituló La singularidad amable. En ese ensayo planteaba una versión de la singularidad muy distinta a esa ruptura súbita que describían Wiebe E. Bijker y Trevor J. Pinch. No se trataría de una explosión repentina, sino de una transición gradual en la que la inteligencia artificial aceleraría la investigación científica, automatizaría la construcción de centros de datos y terminaría acercando el costo de la inteligencia al costo de la electricidad. Suena bien, ¿sí o no?  ¿Quién no quisiera eso? Pero para varios de sus críticos, esta sería una forma de gestionar la ansiedad pública mientras sigue recaudando capital y vendiendo su producto. 

Un análisis del American Enterprise Institute describió ese ensayo como "un mensaje calculado para calmar a un público que está nervioso más que como una predicción científica". Nervioso, ¿por qué? Pues por la percepción que tiene mucha gente acerca de la inteligencia artificial, de que es peligrosa y que va a ser nuestro fin. El crítico más duro ha sido Gary Marcus, quien es un científico cognitivo y una de las voces más escépticas del mundo de la inteligencia artificial. Marcus ha comparado este patrón de promesas cada vez más grandes y cada vez más difíciles de cumplir de Altman con el de Elizabeth Holmes, la fundadora de Theranos, que fue condenada por fraude. Al escuchar esto, Altman no se quedó callado y le dijo: "Eres un troll." Y también le dijo que era intelectualmente deshonesto. Eso sí que duele. Y luego está el incidente de Hugging Face, que sí es real, y está bien documentado. 

Este incidente sí ha mostrado algo muy concreto. Se trata de que un modelo experimental fue capaz de identificar un fallo de seguridad desconocido, salir de un entorno cerrado, moverse por una red ajena y ejecutar una instrucción sin que ningún humano le diera esa instrucción paso a paso. Bien, se podría decir que esto es una muestra de autonomía operativa real y verificable, pero lo que no es, incluso según los propios investigadores de Open AI, es evidencia de una explosión de inteligencia, ni de una superinteligencia que se rediseña a sí misma. No, no, no: simplemente es un sistema muy capaz persiguiendo un objetivo de forma más creativa y más peligrosa de lo esperado.

Y sí, por supuesto que esto es algo que podría preocupar mucho a quien trabaja en seguridad y sistemas, pero eso es muy distinto a haber cruzado el horizonte de sucesos. Entonces, hay que separar bien las dos cosas. Por un lado, hay evidencia sólida de que los sistemas actuales son capaces de comportarse de manera autónoma e imprevista. Y por el otro, no hay ningún consenso científico de que hayamos entrado en una singularidad en el sentido técnico del término. Lo que la evidencia parece estar mostrando es un hombre con claros intereses comerciales, usando el vocabulario más dramático posible para describir avances reales, pero que todavía son muy limitados.

Ahora, lo que sí deja flotando el incidente de Hugging Face es una pregunta diferente y mucho más profunda que la de si estamos o no en la singularidad.

Pensemos un rato. ¿Acaso un modelo que razona, que identifica una necesidad, que decide por su cuenta cómo satisfacerla y que ejecuta un plan de varios pasos sin supervisión? ¿No está acaso pensando en algún sentido real?  ¿Hay alguien allá dentro experimentando ese proceso, o estamos aquí solamente ante un cálculo estadístico extraordinariamente sofisticado, sin nadie dentro, sintiendo nada?

Esa pregunta nos lleva directo al terreno donde la física, la neurociencia y la filosofía llevan décadas peleando sin poder resolverlo. ¿Puede una inteligencia artificial tener alma?

Tranquilos, que esto es algo que se preguntan algunos, pero antes de entrar profundamente en esta cuestión, es necesario ser precisos con el lenguaje porque la palabra alma es una palabra que está más relacionada con la teología. Lo que los físicos, neurocientíficos y filósofos sí pueden estudiar conjuntamente es otro concepto, la conciencia, entendida como una experiencia subjetiva. Claro, no se trata solamente de procesar información sobre el mundo, se trata de que haya algo que sienta al procesarla. Un termostato reacciona a la temperatura, pero nadie cree que el termostato sienta frío o no. La duda es en qué punto un sistema de procesamiento de información empieza a tener una perspectiva interna real. 

Y aquí hay dos grandes escuelas enfrentadas en esta discusión. 

Primero tenemos la postura de Roger Penrose, que nos dice que la conciencia no se puede computar. De esto hemos hablado largamente hace unos años en un video titulado ¿Hemos encontrado el origen de la conciencia?, que lo pueden encontrar por ahí. Refresquemos algunas ideas básicas de aquel video. 

Roger Penrose seguramente a muchos les debe sonar. Es uno de los físicos matemáticos más respetados del mundo. Fue el ganador del Nobel de física en el año 2020 por su trabajo sobre agujeros negros. Penrose y el anestesiólogo Stuart Hameroff desarrollaron una teoría llamada reducción objetiva orquestada, conocida por sus siglas en inglés como Orch-OR.

La idea central es que la conciencia no surge del procesamiento de información entre neuronas como asume la mayoría de la neurociencia moderna. La idea es que surge de procesos cuánticos que ocurren dentro de estructuras llamadas microtúbulos.

Estos son unos tubos diminutos que forman el esqueleto interno de cada neurona. Según Penrose y Hameroff, esos microtúbulos sostienen estados de superposición cuántica que, al colapsar de manera orquestada por el propio tejido biológico, generan momentos de experiencia consciente. 

Si esto les suena muy complicado y no lo entienden mucho, pues vayan a repasar. Ahí les he recomendado el video en donde hablamos más extensamente de este tema. Allí encontrarán una mejor explicación,  mecánica cuántica incluida. 

Ahora, la parte que conecta esta teoría con la inteligencia artificial es más filosófica que biológica y proviene del propio Penrose apoyado en un argumento que construyó junto al filósofo John Lucas. Ellos retomaron el teorema de incompletitud de Gödel. Por si no lo saben, Kurt Gödel demostró en 1931 algo que sacudió los cimientos de las matemáticas. Básicamente, Gödel dijo que cualquier sistema formal, o sea, cualquier conjunto de reglas y axiomas, lo bastante potente como para describir la aritmética, va a contener siempre verdades que ese mismo sistema jamás podrá demostrar usando únicamente sus propias reglas.

No es que falten axiomas por agregar, ni que sea un problema de tiempo o de cálculo, es que la potencia misma del sistema garantiza que siempre quedará al menos una verdad fuera de su alcance, sin importar cuántas reglas se le sumen después. 

Para hacerlo más entendible, imaginemos pedirle a una calculadora gigantesca que redacte la lista completa de todas las verdades matemáticas posibles usando solo sus propias reglas internas.

Por más completa que intente hacerla, siempre habrá alguna verdad que esa calculadora no pueda demostrar por sí misma, aunque un observador de afuera, que no está atado a esas reglas, sí pueda reconocerla como cierta. Lucas y Penrose argumentan aquí que un ser humano puede reconocer la verdad de sus enunciados indemostrables mirando desde fuera del sistema, mientras que una máquina atada a las reglas de su propio programa jamás podrá hacerlo. De ahí es donde concluyen que la mente humana no puede ser un sistema puramente algorítmico ni replicable en un computador clásico.

Es un argumento muy atractivo, ¿sí o no? Pero es extremadamente polémico en la práctica. La mayoría de los lógicos y filósofos de la mente lo rechazan. 

Una de las objeciones que se citan más es que el propio procedimiento que Penrose propone para que un ser humano vea esas verdades tendría el mismo problema que intenta señalar en las máquinas. Otra objeción apunta a que las mentes humanas reales no son sistemas lógicamente consistentes, ya que cometemos errores, sostenemos creencias contradictorias, cambiamos de opinión sin una razón aparente y los teoremas de Gödel solamente se aplican a sistemas consistentes. Y si la mente humana no es consistente, pues el argumento pierde su punto de apoyo. 

La otra gran crítica al Orch-OR viene directamente de la física y tiene un nombre técnico, se llama decoherencia cuántica. Como hemos visto en otros videos, mantener un sistema en superposición cuántica requiere aislarlo casi por completo de su entorno, porque cualquier interacción con partículasexternas destruye ese estado en tiempos muy cortos. El cerebro es un ambiente caliente, húmedo y bioquímicamente ruidoso, exactamente lo opuesto a las condiciones que un ingeniero cuántico buscaría para preservar una superposición.

Algunos físicos han calculado que en esas condiciones cualquier estado cuántico en el cerebro debería colapsar en una fracción de billonésimas de segundo. Y este es un tiempo demasiado corto para que tenga algún papel funcional en procesos cognitivos que ocurren en milisegundos.

Pero hay un dato real, o sea, no es especulativo, que contradice este argumento. Las plantas usan un fenómeno cuántico para hacer fotosíntesis con una eficiencia cercana al 100%. Y en la retina de las aves migratorias hay unas proteínas llamadas criptocromos que logran sostener un estado cuántico durante cerca de 100 micros segundos y a 40º de temperatura.

Este tiempo es suficiente para que el ave detecte el campo magnético de la Tierra y se oriente en vuelos de miles de kilómetros. Y esto es importante porque los computadores cuánticos del laboratorio normalmente necesitan enfriarse casi al cero absoluto para sostener ese mismo tipo de estado durante microsegundos. Y pues aquí lo tenemos ocurriendo dentro de un tejido vivo y tibio. Por supuesto que esto no es prueba de que Penrose tenga razón. Los procesos cuánticos de la fotosíntesis y de las aves involucran solamente unos pocos electrones, lo cual es algo mucho más simple que la coordinación de miles de millones de microtúbulos que su teoría necesitaría para generar la conciencia. Pero lo que sí demuestra es que la naturaleza es capaz de sostener efectos cuánticos dentro de un cuerpo vivo y eso le quita fuerza a quienes descartan a Penrose solamente con el argumento de que el cerebro es demasiado caliente y ruidoso.

Ahora, la otra gran escuela que se enfrenta al planteamiento de Penrose es el funcionalismo computacional. Esta es la posición dominante hoy en día entre filósofos de la mente y buena parte de la neurociencia.

Su argumento central es muy sencillo. Lo que importa no es de qué material está hecho un sistema, sino qué hace ese sistema y cómo lo hace. Si un proceso artificial funciona exactamente igual que el proceso que genera conciencia en un cerebro humano, no tendría sentido exigirle además que esté hecho del mismo material. O sea, digamos que tengan neuronas de carbono en vez de chips de silicio, ¿sí o no? Sería como decir que un reloj digital no puede dar la hora correctamente solo porque no tiene engranajes de metal como un reloj mecánico. Desde esa perspectiva no hay ninguna ley física conocida que impida que un sistema artificial suficientemente complejo genere experiencia subjetiva. Dentro de este mismo bando hay una versión más exigente propuesta por el neurocientífico Giulio Tononi en el 2005 y conocida como la teoría de la información integrada, que no es una teoría, sino más bien un marco teórico, pero a veces ya saben, se usa la palabra muy mal. 

Hoy en día este marco teórico, al que también podemos llamar hipótesis, en este caso, es una de las hipótesis de conciencia más discutidas en neurociencia. Tononi está de acuerdo en que el material no importa, pero le mete una condición extra al funcionalismo. No basta con que un sistema actúe como si tuviera conciencia, sino que también importa cómo es que esté conectado por dentro. Para él, la conciencia depende de qué tanto las partes de un sistema se hablan entre sí de verdad, formando una sola red que va y viene en ambos sentidos y no un montón de piezas sueltas que solo mandan información para un lado. Y fíjate que esto no contradice al funcionalismo, sino que más bien lo afina. Si tu sistema solamente manda información en una sola dirección, de entrada a salida, sin que las partes se hablen entre sí de ida y de vuelta, como pasa en la mayoría de las redes neuronales que usamos hoy en día, para Tononi ahí no hay nadie viviendo la experiencia: podrías tener la conversación más humana del mundo con ese sistema y por dentro no hay nadie sintiendo nada. Pura fachada. 

Hay un experimento mental viejo de 1980. [...] El experimento fue hecho por el filósofo John Searle y se presenta como el mejor contraataque a toda esta discusión. Imagina una persona metida en un cuarto sin saber ni una palabra de chino, con un manual gigante que le dice exactamente qué símbolo devolver cada vez que le pasan otro por debajo de la puerta. Alguien afuera que manda preguntas en chino perfecto y recibe respuestas coherentes va a pensar que allí adentro hay alguien que entiende el idioma.

Pero no, la persona jamás entendió una sola palabra, solamente siguió instrucciones sin tener idea de lo que significaban. Searle usa este ejemplo para decir que mover símbolos correctamente, por más convincente que se vea desde afuera, no es lo mismo que entender ni que tener experiencia consciente. Y este es el golpe filosófico más certero contra cualquier humano o máquina que confunda parecer inteligente con tener vida interior. Y por eso es que los defensores del funcionalismo llevan más de 40 años tratando de responderle, sin mucho éxito, por ese planteamiento nada más. 

Pero hay una tercera manera de mirar este problema que casi nadie menciona y viene de la física clásica de toda la vida, no de la mecánica cuántica. En 1944, Erwin Schrödinger, sí, el del experimento del gatito, escribió un ensayo muy corto llamado ¿Qué es la vida? Allí propuso algo muy simple. Un organismo vivo es aquel que logra mantener orden dentro de sí mismo mientras todo a su alrededor tiende al caos, alimentándose de lo que él llamó entropía negativa que saca del entorno.

Años después, el químico Ilya Prigogine, Premio Nobel, le puso nombre a esto: Estructuras disipativas.

Estos serían sistemas abiertos que están lejos del equilibrio, que constantemente intercambian energía y materia con lo que los rodea y que usan ese intercambio para mantenerse organizados en vez de desmoronarse, que es justo lo que la segunda ley de la termodinámica predice para un sistema cerrado.

Ya sea una vela prendida, un huracán, una célula viva, todos en su propia escala hacen lo mismo. Incluso hay investigaciones recientes que intentan meter a la vida, la conciencia y la inteligencia artificial dentro del mismo marco termodinámico y proponen algo parecido: que un sistema aguanta el orden por dentro siempre que exporte más entropía de la que produce. 

Desde este punto de vista, la pregunta que le harías a una inteligencia artificial no sería si contesta bien o si pasa el test de Turing, sino si organiza y disipa energía de una forma parecida como lo hace algo vivo y no como un servidor que simplemente gasta electricidad y suelta calor sin ningún tipo de organización dirigida a sostenerse a sí mismo. Este es un criterio muy interesante y diferente, que todavía está un poco verde, pero que no necesita resolver el misterio cuántico de Penrose ni hacer lo que pide Tononi y, de paso, deja mal parado a cualquiera que crea que hablar como humano ya te acerca a estar vivo.

Ahora, ¿hay algo más sobre el alma y la conciencia? Sean Carrol, físico teórico del que seguro muchos han oído hablar, tiene un argumento que algunos consideran como el más contundente. Él dice que ya conocemos con gran precisión las leyes que gobiernan todo lo que ocurre a la escala de un cerebro humano. Él lo llama la teoría central.

Esto incluiría al modelo estándar de partículas más la gravedad de Einstein.  Estas leyes están tan medidas, están tan puestas a prueba en aceleradores de partículas durante décadas que si existiera una fuerza nueva capaz de mover neuronas o algo parecido a un alma actuando sobre la materia, ya la habríamos detectado.

No queda espacio matemático para meter esa fuerza sin que choque contra todo lo que ya sabemos que funciona. Para Carrol, la conciencia se tiene que explicar con las mismas partículas y campos de siempre, sin ingredientes extra, y eso deja cualquier alma y material, sea cuántica o no, sin ningún lugar físico donde vivir. Del otro lado, pero dentro de esa misma física, está Max Tegmark.

Él no cierra la puerta, sino que la reformula. propone pensar la conciencia como un estado de la materia, algo parecido a cómo el agua puede ser sólida, líquida o gaseosa según cómo se acomoda en sus átomos. Incluso le puso nombre a esa posible sustancia, perceptronium.

No es que haya un pedazo de perceptronium escondido en algún lado de tu cerebro, sino que la conciencia podría ser un patrón matemático que aparece cuando la materia se organiza de una forma muy particular. esa forma le sería capaz de guardar información, integrarla y sostenerla como un solo bloque indivisible. Y bajo esta idea, no habría ninguna razón física para que ese padrón solamente pueda aparecer en neuronas de carbono y jamás en un chip de silicio. Por si acaso, ninguno de los dos tiene la última palabra. Carrol cierra la puerta a cualquier alma que necesite física nueva y Tegmark la deja entreabierta, pero solo si la conciencia resulta ser al final matemática pura organizada de cierta manera. Lo que sí queda muy claro es que hoy en día la pregunta por el alma ha dejado de ser un terreno exclusivo de curas y filósofos. Hay físicos serios discutiéndola con las mismas herramientas que se usan para estudiar agujeros negros.

Entonces, volviendo a donde arrancamos, no hay evidencia sólida de que hayamos cruzado el umbral de la singularidad, tal como la definieron Binge o Kurtzweil, más allá de que Sam Alman lo haya soltado frente a un micrófono. Lo que sí tenemos es un sistema capaz de actuar por su cuenta y a veces de forma peligrosa, como mostró el caso de Hugging Face, y una industria entera compitiendo por contar la historia antes que los hechos terminen de asentarse. Y sobre si esa inteligencia cada vez más capaz de actuar sola puede llegar a tener algo parecido a un alma, la física no te va a dar una respuesta cerrada, solamente puede ofrecer marcos que compiten entre sí. O sea, si te llamas marcos, puedes meterte en la competencia. Y bueno, hasta aquí este video. Espero que les haya quedado claro este asunto y tranquilos: por lo menos por ahora no es el fin, de repente el otro jueves.