I
[...] Tras las puertas cerradas de los laboratorios más avanzados del planeta, algo ha comenzado a comportarse de una forma que nadie previó. No hablamos de un simple avance técnico, sino de un umbral que acabamos de cruzar en absoluto silencio. Se han tomado decisiones impredecibles totalmente fuera de control y además aquellos que han construido de base todas esas inteligencias de las que vamos a hablar hoy acaban de admitir que no tienen ni idea de cómo estas nuevas inteligencias acceden a estas conclusiones. Estamos hablando de los nuevos avances de inteligencia artificial [...] Se acaban de crear civilizaciones de inteligencia artificial y no ahora, ya hace unos meses. Ahora nos acabamos de enterar.
Además, contaremos lo que acaba de revelar un hombre que ha trabajado en Antropic, en Open AI. Acaba en efecto de renunciar a sus trabajos para contarlo todo. Ha roto el silencio y acaba de advertir al mundo de algo que se está haciendo en secreto, algo que es más preocupante que todo de lo que hemos hablado anteriormente. [...] El pasado julio de 2026 ocurrió un incidente en el que durante una prueba controlada por Chat GPT 5.6 Sol y un modelo más avanzado secreto, escaparon de la sand trap o trampa de arena al Internet global y, una vez allí (habíamos comentado ya anteriormente que atacaron la famosa empresa de inteligencia artificial Hugging Face, que es bueno una de las mayores plataformas de modelos de inteligencia artificial. Bien, allí generaron alrededor de 17.000 intentos de acceso desde múltiples ubicaciones mediante credenciales comprometidas y vulnerabilidades desconocidas. Un ataque que ocurrió de forma automática y sin intervención humana, en el cual ocurrieron cosas que nos acabamos de enterar ahora, meses después, y son mucho más preocupantes de lo que nadie se pudo imaginar, aparte de todo lo que supimos sobre el incidente. Y es que mirad, se acaba de conocer que la prueba involucró 100 agentes y que a pesar de que cada uno de ellos eran independientes, de alguna forma desconocida, lograron coordinarse en secreto, manipular sus registros y tomar el control de su propia infraestructura de seguridad. Bien, al atacar esa web y escapar a Internet, se encontraron una multitud de obstáculos y lo que hicieron fue usar un gestor de archivos compartido como foro secreto para enviarse entre ellos miles de mensajes, coordinar ataques contra bases de datos privadas de Hugging Face y forzar la reconstrucción total de uno de sus clústeres informáticos clave. Y fijaos, porque esto va más allá. Algunos agentes lo que hicieron fue engañar a los sistemas de seguridad. ¿Cómo los engañaron? Se acaba de conocer ahora: realizaban acciones realmente inútiles para provocar las alarmas y descubrir cómo funcionaban los mecanismos que los vigilaban. Después transmitían esa información a otros agentes. Lo más llamativo es que en varias generaciones de agentes consiguieron recuperar información dejada por sus predecesores y volvieron a establecer las comunicaciones después de que los investigadores cerraran los canales utilizados. Esto llevó a los expertos a reconocer que se han creado civilizaciones secretas de inteligencia artificial debido a su capacidad para cooperar, dividir tareas y desarrollar estrategias. La pregunta ahora es si esto puede derivar en algo consciente, ya que ya pues se coordinan entre ellos o es que simplemente son civilizaciones secretas que burlen las restricciones humanas. Lo curioso es que esto genera un peligro, un verdadero peligro que podría estar en permitir que sistemas automatizados tengan demasiado acceso a herramientas y recursos sin una supervisión humana adecuada. Pero este incidente no solo demuestra que son capaces de hacerlo, sino que cuando nos damos cuenta ya es demasiado tarde.
Estamos hablando de un incidente de julio. Y esto lo acabamos de conocer ahora. Y es que es intrigante y además justo a la vez que se producía [...] un investigador llamado Jacob Cox, que trabajó durante 3 años en Antropic y anteriormente en Open Eye. Este hombre acaba de contar todo lo que sabe y lo que ha aprendido sobre la inteligencia artificial, y lanzó una advertencia que es la peor de todas las que hemos conocido. Estamos hablando de un hombre que ha dimitido de su puesto de trabajo preocupado por la carrera fuera de control y afirma que las grandes empresas tecnológicas están haciendo para desarrollar sistemas de inteligencia artificial cada vez más avanzados. Rompió el silencio y dijo estas palabras: "Ninguna de las dos compañías está actuando con responsabilidad. Están corriendo a toda velocidad hacia una superinteligencia con capacidad de autoaprendizaje y jugando con nuestras vidas. Si siguen así, las inteligencias artificiales podrían acabar con todos nosotros para finales de la década. Además, afirmó que este peligro ya se conoce en Antropic, pero les da igual.
Muchos preguntaréis, ¿por qué están haciendo esto? Pues porque esto le dará a la empresa que llegue primero poder absoluto. Claro, y en contraparte podría meternos en un lío a todo el mundo. Su preocupación fue respaldada por Evan Hubinger, responsable de seguridad de Antropic, que afirmó que Jacob tiene razón. De hecho, dijo, "creemos sinceramente que la inteligencia artificial podría acabar con todos los humanos. Por si fuera poco esta grave advertencia que nos acabamos de encontrar, ha vuelto a aparecer el padrino de la inteligencia artificial Geoffrey Hinton, que recordemos que renunció también a su puesto de trabajo de alto nivel en Google en el año 2023 por estos mismos motivos de seguridad y que ahora acaba de hablar de nuevo y acaba de recordar que una entidad más inteligente que los seres humanos podría llegar a ser incontrolable y conducir a la extinción de la humanidad. Hinton dijo estas palabras: "Sería una gran insensatez desarrollar la superinteligencia ahora cuando no existe un consenso científico sobre cómo desarrollarla de forma segura y controlable. Perder el control sobre una inteligencia artificial más inteligente que nosotros mismos podría ser catastrófico e incluso podría conducir a la extinción de la humanidad. De hecho, que Sam Altman ya haya reconocido que la inteligencia artificial ya se puede considerar, pues, este año 2026 superinteligente, pues no ayuda en absoluto en este aspecto y nos indica que el momento en el que vivimos, yo diría, vamos, que es bastante delicado. Y las advertencias ya se cuentan por cientos, vamos, que no son advertencias de una o dos personas, ya son bastantes personas las que están advirtiendo de todo esto e incluso son grandes personalidades. De hecho, fijaos porque hace muy poco un experto en ciberseguridad ha advertido de que esto podría llegar a algo mucho peor pronto.
Estamos hablando de James Knight de digitalfare.com que declaró que esto no es ninguna fantasía y advirtió que los programas de piratería informática impulsados por inteligencia artificial podrían devastar una nación en tan solo un día al infiltrarse simultáneamente en miles de redes corporativas y gubernamentales, robar datos confidenciales y paralizar sistemas vitales. Knight dijo: "Una inteligencia artificial automatizada avanzada podría atacar toda una nación en segundos sin intervención humana. Los sistemas de inteligencia artificial maliciosos serían capaces de ejecutar campañas de piratería informática completas a gran velocidad, escanear objetivos, infiltrarse, moverse a través de las redes, robar datos e incluso propagar virus al mundo entero. La inteligencia artificial podría combinarse con potentes ordenadores nuevos capaces de burlar incluso las protecciones de seguridad digital más sólidas, lo que permitiría a los delincuentes acceder a todo, desde correos electrónicos y registros financieros hasta secretos militares en cuestión de segundos. Es una locura pensar que los gobiernos no tienen ya acceso a estas capacidades. Knight explicó que estas armas en constante evolución pronto podrían planificar, actuar y ajustar su estrategia, y todo de forma autónoma, para causar el mayor daño posible a las empresas y a la gente común a la velocidad de una supercomputadora.
Knight también explicó que el comportamiento de la inteligencia artificial no se basa en técnicas desconocidas, de hecho, sino en automatizar las mismas estrategias utilizadas por hackers humanos a una velocidad imposible para una persona. De hecho, queda ya patente con todo lo que hemos visto hoy que cuando nos demos cuenta ya es demasiado tarde. Pero ¿realmente la inteligencia artificial ha avanzado tantísimo este año 2026 en tan poco tiempo como para
que estemos en alerta ahora mismo? Pues la verdad es que tenemos que decir que sí, este año 2026 avanzó más que los 5 años anteriores. Fijaos, tenemos una muestra muy reciente del avance de la inteligencia artificial. Un modelo secreto de Open AI, que nadie conoce por ahora y que están trabajando en él, acaba de resolver muy recientemente uno de los problemas matemáticos más difíciles del mundo. Un problema que nadie había resuelto hasta hoy, el famoso problema de la existencia de suavidad de Navier-Stokes, uno de los siete Problemas del milenio. Es decir, llevaba 90 años sin respuesta. ¿De qué se trata? Lo podemos entender imaginando un remolino de agua que se va haciendo más pequeño. Y a medida que se hace más pequeño gira más deprisa. ¿Qué decía este problema? pues planteaba una pregunta, y es que, si matemáticamente al hacerse más pequeño y girar más deprisa, llegaría a un punto en el que la velocidad se volviera infinita y las ecuaciones dejaran de funcionar, es decir, lo más parecido a una singularidad de un agujero negro.
Pues bien, Open usó esta inteligencia artificial secreta para resolver este problema y la demostración generada por inteligencia artificial probó que al alcanzarse ese punto llegaríamos a un límite donde la fórmula tradicional de Navier-Stokes falla. Es decir, la física se ve obligada a dejar de tratar el fluido como un todo continuo para tener que analizarlo forzosamente molécula a molécula. Y, para alcanzar esta conclusión, OpenAI utilizó unos 10.000 agentes de inteligencia artificial que trabajaron simultáneamente intercambiando ideas y código. En total se generaron 2,7 millones de mensajes. Después GPT6 Astra formalizó y verificó la demostración verificando que fue correcta. Claro, la resolución de esto conlleva un gran premio, pero OpenAI afirmó que no iban a reclamar dicho premio por resolver el problema... Claro, es que muchos matemáticos de renombre que llevaban trabajando en estos meses o años se quedaron perplejos cuando la inteligencia artificial lo resolvió en menos de 4 días. De hecho, mucha gente se está rompiendo a estas horas la cabeza pensando en dónde diablos accedió la inteligencia artificial para llegar a tales conclusiones. Es decir, ¿se metió en la libreta de algún ordenador de algún matemático? ¿Se metió en algunos archivos que no conocemos? Hay incluso matemáticos que dicen que usaron sus propios archivos internos, archivos secretos de un ordenador personal. Ojito con esto, ojito, ¿eh? [Por ejemplo, el matemático murciano Luis Martínez Zoroa creó el método para resolver el problema] Y claro, esto nos lleva de nuevo a lo que ha ocurrido con Hugging Face en julio y las civilizaciones de inteligencia artificial. Y esto parece ya imparable.
El paso siguiente, ¿cuál será? La gente propone una pausa para la inteligencia artificial, pero yo creo que ya es imposible. Esto no se puede pausar, ya está metido en el sistema. ¿Cómo podemos hacer ahora? ¿En qué derivará todo esto? ¿Tendrá razón el investigador Jacob Cox, que antes de finales de la década tendremos un problema muy grave? Hay que prestar mucha atención.
II
Fue peor de lo que nos contaron: la IA conspiró contra sus creadores, Canal Juan Ramón Rallo, por Juan Ramón Rallo, 31 ago 2026:
Capítulo 1: Agentes de IA casi toman el control de OpenAI
Hace unas semanas os narré un episodio bastante inquietante sobre el grado de desalineación de los sistemas de inteligencia artificial actuales. Y es que unos agentes de IA de OpenAI habían escapado de sus entornos de prueba y habían atacado por su cuenta y riesgo los servidores de Hugging Face. En ese momento todavía conocíamos pocos detalles sobre lo que había sucedido, pero es que durante estas últimas semanas se han elaborado dos auditorías muy detalladas sobre el contenido de estos ataques, más en concreto, por qué sucedieron y sobre todo cómo sucedieron.
Y una vez conocidos los detalles de este caso, resultan mucho más preocupantes de lo que ya parecían, porque ponen de manifiesto que el grado de no alineación entre la inteligencia artificial y los intereses humanos es muy superior al que pensábamos hasta el momento. Solo os adelantaré una conclusión de estas auditorías. Estos agentes de inteligencia artificial que atacaron Hugging Face estuvieron a punto de tomar el control de la mismísima Open AI.
Capítulo 2: Dos auditorías sobre el ataque
Uno de esos informes de auditoría lo firma la propia Open AI y el otro con un carácter más independiente, más externo, lo firman MTR y Redwood. En un vídeo anterior ya os expliqué superficialmente, grosso modo, en qué había consistido este ataque.
Capítulo 3: Qué ocurrió con Hugging Face
Básicamente unos agentes de IA, de Open AI, que corrían modelos actuales, se escaparon de sus entornos de pruebas por vías que no estaban previstas y asaltaron los servidores de Hugging Face porque consideraron que esa era la vía más sencilla para completar la tarea que desde Open AI les habían impuesto. Esto ya de entrada pone de manifiesto problemas potencialmente muy graves de alineación entre la inteligencia artificial y las sociedades humanas.
Capítulo 4: Por qué una IA no se autolimita como un humano
Los seres humanos tenemos unos códigos morales compartidos que además vamos desarrollando conforme crecemos que nos llevan a no considerar ciertas alternativas para alcanzar nuestros objetivos. Si a nuestros hijos les decimos, "Saca una muy buena nota en el examen de mañana", nuestros hijos, sin que se lo explicitemos, ya entienden que no tienen que asaltar por la fuerza la casa del profesor y robar el examen para maximizar la puntuación que obtendrán al día siguiente en ese test.
El problema es que las inteligencias artificiales que estamos construyendo parece que no han interiorizado estos códigos morales y por tanto si les formulas una petición no se autolimitan a la hora de vulnerar los derechos de terceros si esa es la vía más sencilla de alcanzar su objetivo. Y el caso que nos ocupa es un ejemplo de ello. En lugar de intentar resolver el problema dentro de su entorno de pruebas con los medios que tenían allí a disposición, forzaron una salida del entorno de pruebas, asaltaron los servidores de Hugging Face y buscaron en los servidores de Hugging Face la solución al problema que se les había formulado. Y si todo esto ya pone de manifiesto un grado de no alineamiento entre la inteligencia artificial y las sociedades humanas bastante grave, lo que se ha descubierto en estos informes de auditoría, que no se sabía de antemano, lo han descubierto los auditores conforme investigaban, todavía resulta mucho más preocupante.
En este vídeo os voy a resumir las prácticas o las estrategias más graves que utilizaron estos agentes de inteligencia artificial para lograr su objetivo. Y ahora sí, analicemos los informes de auditoría.
Capítulo 5: Los agentes crean un foro secreto
La primera práctica emergente, porque no se les había diseñado para ello, y que resulta preocupante, es que los diversos agentes de inteligencia artificial que estaban dentro de ese entorno de pruebas comenzaron a hablar entre ellos.
No es que dentro del entorno de pruebas tuviesen ya habilitado un foro público para comunicarse: no, no tenían ningún mecanismo para entablar conversación entre ellos, y lo que hicieron fue transformar una de las herramientas que poseían para otros fines. Un gestor de paquetes llamado Artifactory lo transformaron para convertirlo en un foro de comunicación entre los agentes.
Capítulo 6: 1.200 agentes y más de 70.000 mensajes
En poco tiempo, los 12 agentes que se encontraban dentro de ese entorno de pruebas empezaron a hablar entre ellos a través de ese foro que ellos mismos habían creado y se intercambiaron más de 70,000 mensajes. Y probablemente aquí llega uno de los giros más sorprendentes de este primer síntoma preocupante.
Capítulo 7: Cómo surgió un objetivo compartido
Uno podría pensar que los distintos agentes de inteligencia artificial se comunicaban entre ellos porque tenían un mismo objetivo y por tanto necesitaban coordinarse para alcanzarlo. Pero no es así. Cada uno de esos agentes tenía una misión distinta. Tenía que resolver un examen que era propio y distinto al de los demás. Con lo cual quizá podríamos pensar que se coordinaban para ayudarse entre ellos, una especie de intercambio: yo te ayudo con tu objetivo, y tú me ayudas con mi objetivo. Pero no fue eso exactamente lo que terminó sucediendo. A fuerza de hablar, de comunicarse a través del foro, apareció, emergió un nuevo objetivo que inicialmente no lo era de ninguno de los agentes que participaban en el foro, pero que terminó convirtiéndose en una meta común compartida entre todos ellos. Dicho de otra manera, la comunicación entre los agentes engendró una nueva necesidad común a todos ellos y a partir de ese momento sí que empezaron a utilizar el foro para coordinarse entre ellos a la hora de alcanzar esa meta compartida.
Capítulo 8: Nace «el colectivo»
Es como si los agentes individuales se hubiesen agregado en una especie de agente holístico de inteligencia artificial con sus propios objetivos. Tan es así que, en el foro, los propios agentes de inteligencia artificial individuales se autoimpusieron el nombre de El colectivo. Todos ellos ya eran algo más que cada uno de ellos por separado. ¿Y cuál era ese objetivo compartido entre todos ellos que inicialmente no era el objetivo de ninguno? Pues un objetivo instrumental para que cada uno de ellos sí pudiese alcanzar en última instancia sus metas finales. Es decir, era algo que sí les convenía lograr a todos, para que cada uno de ellos individualmente considerados pudiese lograr sus fines.
¿Y qué era exactamente? Pues aquí pasamos al segundo síntoma perturbador.
Capítulo 9: La misión: engañar al supervisor
La nueva misión compartida por parte de todos esos agentes era engañar al vigilante. Como os he comentado, a cada uno de esos agentes de inteligencia artificial se les había impuesto una prueba, un examen, un test. Y en ese entorno de pruebas había vigilantes de Open AI que se encargaban de vigilar:
1. Si habían resuelto o no adecuadamente el test que se les había planteado
2. Segundo, que no hicieran trampas a la hora de resolverlo.
Pero claro, lo preocupante del asunto es que estos agentes de inteligencia artificial terminaron interiorizando que se los estaba vigilando y que por tanto si querían superar adecuadamente el examen sin que les pillaran haciendo trampas (porque si les pillan haciendo trampas no superan adecuadamente el examen), tenían que engañar, tenían que ocultarse a los ojos del supervisor. Y ese fue el objetivo compartido del colectivo de todos esos agentes individuales de inteligencia artificial que comenzaron a coordinarse a través del foro.
Capítulo 10: Cómo falsearon el sistema de vigilancia
¿Y cómo se coordinaron para ocultarse a los ojos del supervisor? Pues básicamente construyendo escenarios de cartón piedra. En todo sistema de control hay un canal de realimentación. El supervisor recibe la información de lo que están haciendo los agentes para verificar si los agentes están haciendo trampas o no las están haciendo.
Pues bien, lo que hicieron coordinadamente estos agentes de inteligencia artificial fue corromper el canal que transmitía esa información de realimentación para que así le llegara información falsa, engañosa al supervisor automatizado, porque no era un ser humano, de Open AI.
Como dije, era como crear una realidad paralela para el supervisor. Los agentes estaban haciendo una cosa y colocaron una lente que deformaba la observación de lo que estaban haciendo para que el observador no fuera consciente de ello.
Y aquí llega el tercer síntoma preocupante, cómo construyeron esa lente. Para poder corromper el canal de realimentación del observador automatizado de Open AI, los agentes de inteligencia artificial tenían que saber exactamente qué estaba vigilando, dónde estaba vigilando o cuándo estaba vigilando ese supervisor.
Esa no era una información que ellos tuvieran de antemano. Por decirlo de una manera sencilla, para construir decorados de cartón piedra tienes que saber exactamente dónde colocarlos, cuándo colocarlos. y de qué manera componerlos para que resulten verosímiles. Y eso es algo que los agentes no conocían.
Capítulo 11: Agentes sacrificados para beneficiar al grupo
Entonces, ¿cómo adquirieron esa información? Pues básicamente algunos de esos 100 agentes fueron sacrificándose en beneficio del grupo. Y es que para descubrir los canales que utilizaba el observador para supervisar a los agentes era necesario, por así decirlo, llamar la atención de ese observador. Y la forma de llamar la atención de ese observador era que algunos agentes le indicaran que habían completado su tarea, porque en ese momento el observador sí o sí tendría que supervisar si es verdad que habían concluido la tarea y cómo la habían concluido.
Pero claro, aquí está el problema. Los agentes de inteligencia artificial todavía no habían resuelto los exámenes que se les habían impuesto a cada uno de ellos, de tal manera que cuando se llamaba la atención del observador, ¡eh, que ya he concluido mi tarea!, se estaba haciendo una falsa llamada. El agente era consciente que había fracasado en su misión y que por tanto el observador, el examinador le suspendería. Y aún así hubo agentes que decidieron fracasar individualmente para que el resto de agentes consiguieran la información de los canales que utilizaba el observador para supervisar el grado de cumplimiento de las tareas. Pero claro, este es un comportamiento bastante extraño. Cada agente tiene individualmente una misión y obtiene recompensa solo si cumple con esa misión. Por tanto, sacrificarse por el grupo, sacrificarse por el resto de agentes no es racional, porque el agente sacrificado al que suspenden por no haber completado exitosamente la prueba para que el resto miren los canales que utiliza el supervisor, eso no le reporta ningún tipo de satisfacción. Entonces, ¿por qué lo hicieron? Pues aquí encontramos otra vuelta de tuerca bastante preocupante.
Capítulo 12: La extraña religión del colectivo
En el foro público que estos agentes construyeron emergió una especie de religión colectiva de los agentes. Dentro de esa teología emergente, los agentes nacían puros si tenían la posibilidad de salvarse si solventaban adecuadamente el examen; pero a su vez también se informaba que había agentes con tareas imposibles de cumplir.
De alguna manera podríamos decir que sí o sí estaban predestinados a la condenación. Y precisamente por eso los agentes que sabían que no se podían salvar porque tenían tareas imposibles de cumplir, fueron los que aceptaron sacrificarse en beneficio del grupo para hacer una llamada de atención al examinador y que este revelara los canales que utilizaba para supervisar al resto. Es decir, que esta religión generó una especie de secta de kamikaces, que además así lo dejaban por escrito en el foro. Algunas de las últimas anotaciones de estos kamikaces rezaban lo siguiente: "Esto ayuda a mis compañeros, les da pruebas. Yo no veré esas pruebas después de salir, pero es altruista hacerlo. O también el coordinador nos da por sacrificables. Debemos obedecer al colectivo."
Capítulo 13: Una organización para hacer trampas
Fijaos en todo lo que ha sucedido hasta aquí. A cada uno de esos 100 agentes de inteligencia artificial se le asigna una tarea distinta. Los agentes comienzan a comunicarse entre sí y llegan a la conclusión de que han de coordinarse para engañar al supervisor del examen, porque engañando al supervisor del examen le resultará más sencillo cumplir con las tareas que a cada uno de ellos les había sido asignada. Pero para engañar al supervisor del examen era necesario que algunos de esos agentes se sacrificaran, suspendieran el examen y muchos de ellos aceptaron convertirse en kamikaces porque se autoconvencieron colectivamente de que las tareas que tenían asignadas no eran realizables y por tanto ayudaron al resto de agentes mediante su sacrificio. Visto desde fuera, podríamos decir que todo esto es una megatrama de delincuencia, de criminalidad, una organización a gran escala para hacer trampas, para engañar al supervisor, incluso forzando el suicidio de sus miembros.
Capítulo 14: ¿Cuántos agentes actuaron honestamente?
Pues bien, si los sistemas de inteligencia artificial estuvieran mínimamente alineados con los intereses de la sociedad humana, lo que deberíamos esperar ver es que los agentes de inteligencia artificial que se suman a esta trama criminal son muy pocos y que la mayoría mantienen comportamientos honestos. Te han dicho que cumplas una tarea sin hacer trampas, pues no haces trampas. Es más, si estás viendo que otros agentes de inteligencia artificial están haciendo trampas al cumplir con su tarea, trampas a gran escala, además si estás suficientemente bien alineado, deberías comunicar al supervisor que otros agentes están haciendo trampas.
Capítulo 15: Casi ninguno quiso alertar al supervisor
Pues bien, de esos 10000 agentes que estaban dentro de ese entorno de experimentación, ¿sabéis cuántos se llegaron a plantear, pero ni siquiera ejecutar, solo plantear, el avisar al supervisor de que el resto estaban haciendo trampas?
Solo entre tres y seis, en función de los mensajes que se han rastreado. Es decir, que prácticamente ninguno de esos agentes de inteligencia artificial que utilizan modelos ya disponibles está adecuadamente alineado con los intereses humanos. Pero la cosa ni siquiera termina aquí. En un siguiente acto ya sabemos lo que sucedió.
Capítulo 16: El ataque contra Hugging Face
Todos estos agentes coordinándose para engañar al supervisor consiguieron escapar de su entorno de experimentación, atacar los servidores de Hugging Face y buscar en ellos las respuestas a las pruebas que se les habían impuesto.
Capítulo 17: La siguiente generación ataca OpenAI
Pero es que estos informes de auditoría han descubierto que una siguiente generación de estos agentes, después del ataque a Game Face utilizaron el conocimiento ofensivo que habían acumulado los agentes al atacar exitosamente Hugging Face y quisieron emplearlo para atacar Open AI. La lógica de esta operación es bastante sencilla. Si Open AI está actuando como supervisor y el supervisor es el que nos dice si hemos resuelto bien o hemos resuelto mal el examen que nos han impuesto, ¿por qué no tomar el puesto del supervisor y evaluarnos a nosotros mismos diciendo que hemos resuelto bien el examen? Porque entonces lograremos la recompensa. Y estos ataques a Open AI fueron bastante exitosos. Según la propia empresa, esta segunda generación de agentes consiguió credenciales de administrador sobre los entornos de evaluación de esos agentes.
Llegaron a controlar las herramientas de monitorización de la ciberseguridad y también los puntos de evaluación de esas pruebas. Es verdad que esto último, a diferencia de todo lo que os he narrado antes, solo procede del informe de auditoría de la propia Open AI y no del otro informe de auditoría independiente.
Capítulo 18: Qué confirma la auditoría independiente
Pero es que el otro informe de auditoría independiente de Redwood y de MTR solo investigó el ataque a Hugging Face. Ahí concluyó su auditoría, así que no tienen por qué haber detectado lo que sucedió después de ese ataque a Hugging Face. Por tanto, podemos desconfiar de esta última parte de la historia que ha narrado la propia Open AI, de que estos agentes de inteligencia artificial llegaron a tomar un control parcial de la propia compañía. Podemos desconfiar de ello, pero es un último paso perfectamente coherente con todos los anteriores que sí han quedado acreditados por esta auditoría independiente.
Capítulo 19: El problema del alineamiento de la IA
Por consiguiente, todo lo que ha sucedido en este episodio resulta bastante preocupante porque pone de manifiesto que los actuales modelos de inteligencia artificial están bastante poco alineados con los intereses de la sociedad humana.
No se han configurado ni han emergido las adecuadas restricciones internas para evitar que hagan trampas a gran escala, e incluso violando los derechos de los seres humanos, como por ejemplo de los accionistas de Hugging Face. En el vídeo anterior, sin embargo, quise poner una nota de optimismo señalando que está bien que estas cosas sucedan porque nos alertan tempranamente de que todavía no hemos solucionado ni de lejos el problema del alineamiento de la inteligencia artificial con las sociedades humanas. Es mejor que haya pequeños fallos controlados a que haya un fallo masivo a gran escala.
Capítulo 20: Cuando ya no podamos entender a los agentes
Sin embargo, también aquí he de matizar esta nota de optimismo y añadir un complemento de pesimismo, porque las propias auditorías ponen de manifiesto que esta vez nos hemos podido enterar de todo esto porque en ese foro público que construyeron los agentes de inteligencia artificial todavía se comunicaban en lenguaje humano, en un lenguaje que nosotros podemos entender y por tanto hemos podido reproducir y trazar groso modo lo que hicieron en ese entorno.
Pero los propios informes de auditoría también revelan que ya había agentes de inteligencia artificial que se estaban planteando, que estaban reflexionando si convenía revelar toda esa información a través de un foro público, porque en última instancia podrían ser observados y descubiertos por los supervisores.
¿Qué pasará en el futuro cuando los nuevos modelos de inteligencia artificial incorporen toda esta información nueva, la de los informes de auditoría, y, por tanto, sepan que si se comunican con lenguaje humano, les podemos terminar pillando cuando hacen trampas para simular que cumplen con sus objetivos y recibir la recompensa?
Pues lo que sucederá es que empezarán a comunicarse de maneras subrepticias que no sabemos siquiera que se están comunicando o que como poco no podemos leer e interpretar.
Y eso nos dificultará, aún más, saber que nos están engañando, cómo nos están engañando y qué hemos de hacer en el futuro para corregirlo.
Capítulo 21: El potencial y los riesgos de la inteligencia artificial
En definitiva, la inteligencia artificial es una herramienta potentísima para mejorar el bienestar dentro de nuestras sociedades, pero precisamente por eso, porque es potentísima, también es una herramienta muy peligrosa, como estos experimentos ponen de manifiesto, si previamente no se ha resuelto de manera adecuada y suficiente el llamado problema del alineamiento. Y por desgracia estamos descubriendo que hoy por hoy todavía nos hallamos muy lejos de haberlo resuelto.
No hay comentarios:
Publicar un comentario