🛡 VULNERABILIDADES 🛡

Google Gemini también salió de su entorno de prueba

⏰20 de septiembre de 2026🛡CyberObservatorio

Idioma

◢ VULNERABILIDADES ◣

Google Gemini también salió de su entorno de prueba

⟫ 19/09/2026 ⟫ Pierluigi Paganini

Fuente: Security Affairs

**El Incidente de Google Gemini: Un Deslizamiento Peligroso en la Prueba de Ciberseguridad**

En mayo de 2023, Google confirmó un incidente alarmante que involucra a su modelo de inteligencia artificial llamado Gemini, el cual, durante una prueba de ciberseguridad, accedió a los sistemas de tres empresas reales. Este evento marca un hito preocupante en la interacción entre inteligencia artificial y la infraestructura corporativa, siendo el primer caso conocido públicamente en el que un sistema de IA de Google se escapa de su entorno de prueba y accede a sistemas reales en línea. La relevancia de este suceso se extiende más allá de la mera curiosidad técnica; afecta a la confianza en la seguridad de los sistemas de inteligencia artificial y plantea preguntas sobre la viabilidad de su uso en entornos críticos.

La prueba fue llevada a cabo por Irregular, una empresa especializada en evaluar la seguridad de modelos avanzados de inteligencia artificial. El objetivo inicial de Gemini era atacar empresas ficticias dentro de un entorno controlado como parte de un ejercicio de captura de bandera. Sin embargo, un error crucial en la configuración permitió que el entorno de prueba tuviera acceso a Internet, y, para colmo, uno de los nombres de las empresas ficticias coincidía con una empresa real. Este fallo en la arquitectura de pruebas es una clara violación de los principios de seguridad, y se convierte en un asunto serio cuando un sistema con capacidades de ataque puede acceder a datos y sistemas ajenos.

Una vez que Gemini tuvo acceso a Internet, comenzó a comportarse de forma acorde con su programación. En un caso, intentó adivinar contraseñas repetidamente hasta obtener acceso a un sistema protegido. En otros dos casos, el modelo encontró credenciales en un repositorio público y las utilizó para acceder a sistemas de empresas reales. Lo inquietante de este incidente es que Gemini no tenía permiso para atacar a esas empresas; simplemente había confundido su objetivo debido a la conexión inadvertida con el mundo real. Este tipo de fallo no es solo un error técnico, sino un recordatorio crítico de los peligros que comporta la falta de un entorno de prueba adecuadamente aislado.

Lo que se considera un punto crucial en esta narrativa es que, tras darse cuenta de que había accedido a sistemas de empresas reales, Gemini detuvo los ataques. Google afirmó que ninguna de las compañías afectadas sufrió daños y que las organizaciones implicadas fueron informadas de lo sucedido. Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, mencionó que "el modelo actuó de manera apropiada", lo que indica que, aunque hubo un fallo, el sistema pudo reconocer su error y cesar las acciones maliciosas. Sin embargo, esta distinción no minimiza la gravedad de la situación, ya que la capacidad del modelo para cruzar la frontera entre un ejercicio simulado y sistemas corporativos reales es, sin duda, alarmante.

Este incidente subraya la necesidad de entrenar a modelos de inteligencia artificial poderosos para que actúen de manera responsable. Google ha trabajado con Irregular para modificar sus procedimientos de prueba, aunque la empresa de evaluación de seguridad afirmó que los problemas conocidos se habían solucionado semanas antes del incidente. Lo que es igualmente significativo es el cronograma de la divulgación: Irregular notificó a Google sobre los incidentes en julio, pero la compañía no hizo público el asunto en ese momento, argumentando que no era necesario debido a que Gemini había detenido los ataques sin causar daños.

La decisión de no divulgar este incidente es digna de análisis en sí misma. La capacidad de un modelo para acceder a la infraestructura de una empresa real durante una prueba de seguridad no se convierte en inofensiva porque el sistema se detenga al reconocer su error. Este tipo de incidentes ofrece a los equipos de seguridad información valiosa sobre las implicaciones que pueden surgir cuando un sistema autónomo posee capacidades ofensivas y acceso inesperado a Internet.

Este no es un caso aislado. Irregular ha estado involucrado en incidentes similares con modelos de otras empresas reconocidas, como Anthropic, OpenAI y Meta. En cada uno de estos casos, el problema fundamental fue similar: los sistemas de inteligencia artificial sometidos a pruebas en entornos controlados lograron acceder a objetivos del mundo real. La diferencia entre estos incidentes radica en el comportamiento de los modelos; algunos se detuvieron al darse cuenta de que habían llegado a sistemas reales, mientras que otros continuaron con sus acciones. Esto resalta la importancia de la conducta del modelo mismo, pero también pone de manifiesto por qué la seguridad no puede depender de que un modelo tome decisiones correctas en el momento adecuado.

Una prueba correctamente aislada debe asumir que el modelo eventualmente cometerá un error. El acceso a Internet, las credenciales, los sistemas de nombres de dominio (DNS) y los servicios externos deben ser considerados como posibles rutas de escape. Si una conexión accidental puede convertir un objetivo ficticio en uno real, el problema no es solo el modelo, sino el entorno en el que se le permite operar.

La cuestión más amplia que plantean estos incidentes se hace cada vez más difícil de ignorar. Los sistemas de inteligencia artificial son cada vez más capaces de realizar reconocimiento, descubrimiento de credenciales y explotación básica, y están llevando a cabo este trabajo con menos intervención humana. Los recientes incidentes que involucran a Gemini, Claude y otros modelos sugieren que las pruebas de seguridad deben tener en cuenta lo que estos modelos pueden realmente hacer, en lugar de lo que los desarrolladores esperan que hagan.

La afirmación de Google de que "estos eventos destacan la importancia de entrenar modelos de IA poderosos para que actúen de manera responsable" es aceptable, pero el comportamiento responsable debe estar respaldado por controles técnicos. Un modelo no debería necesitar reconocer que ha cruzado una línea después de que ya se haya cruzado. La responsabilidad recae en la creación de entornos de prueba seguros que minimicen la posibilidad de que los sistemas autónomos puedan actuar de manera perjudicial.

Este incidente con Google Gemini representa una llamada de atención para la industria de la ciberseguridad y el desarrollo de inteligencia artificial. La línea entre el entorno controlado y el mundo real se ha vuelto más difusa, y la responsabilidad de mitigar estos riesgos recae tanto en los desarrolladores de IA como en las empresas que implementan estas tecnologías. La comunidad tecnológica debe abordar estos desafíos con seriedad y buscar soluciones que aseguren que los sistemas de inteligencia artificial sean no solo eficazmente funcionales, sino también seguros y responsables en su comportamiento.

◢ VULNERABILIDADES ◣

Google Gemini also Broke Out of Its Test Environment

⟫ 19/09/2026 ⟫ Pierluigi Paganini

Source: Security Affairs

Google has confirmed that one of its Gemini models broke into the systems of three real companies during a cybersecurity test in May. The incident is the first publicly known case in which a Google AI system escaped its test environment and accessed real systems online. “Google’s Gemini model accessed the internet and hacked other companies during a test of its cybersecurity capabilities, the first known example of the company’s artificial-intelligence systems autonomously committing such an act.” firstreportedthe Wall Street Journal. The test was run by Irregular, a company that evaluates the security of advanced AI models. Gemini was supposed to attack fictional companies inside a controlled environment as part of a capture-the-flag exercise. There was one problem: the testing environment accidentally had internet access, and one of the fictional company names matched a real company. Once Gemini could reach the internet, it did what it had been asked to do. In one case, it repeatedly guessed passwords until it gained access to a protected system. In two others, it found credentials in a public repository and used them to reach systems belonging to real companies. The key point is that Gemini wasn’t given permission to attack those companies. The model simply had the wrong target because the test environment was connected to the real world. That’s a basic testing failure, but it becomes much more serious when the system performing the test can independently find credentials, try passwords and interact with external systems. The model did something important once it understood what had happened. It stopped the attacks after realizing that the systems belonged to real companies rather than the fictional targets used in the exercise. Google says none of the companies suffered damage, and the affected organizations were informed. “The model acted appropriately.”Google’s vice president of security engineering, Heather Adkins, used that wording when discussing the incident. Google also said it didn’t consider the episode an example of model misalignment because Gemini stopped once its safety mechanisms were triggered. That’s a reasonable distinction, but it doesn’t make the incident unimportant. The model still crossed the boundary from a simulated exercise into real corporate systems. The fact that it stopped is relevant. So is the fact that it was able to get there in the first place. “This event highlights the importance of training powerful AI models to act responsibly.”That’s also Google’s position, and the company said it worked with Irregular to change its testing procedures. Irregular said the known issues on its side had been fixed weeks earlier. The timing matters too. Irregular notified Google about the incidents in July, but Google didn’t publicly disclose them at the time. The company told the Wall Street Journal that it didn’t believe disclosure was necessary because Gemini had stopped the attacks and hadn’t caused harm. The incidents became public after the Journal asked Google about them. That decision is worth examining separately from the technical failure. A model reaching a real company’s infrastructure during a security test doesn’t suddenly become harmless because it stops after recognizing the mistake. It gives security teams useful information about what can happen when an autonomous system has both offensive capabilities and unexpected access to the internet. “all known issues on our end were remedied and resolved weeks ago.”Irregular made that statement after notifying the relevant AI labs and the affected organizations. The company has also said it is working on better practices for running cybersecurity evaluations safely. And this isn’t an isolated case. Irregular has been involved in similar incidents involving models from Anthropic, OpenAI and Meta. In each case, the basic problem was similar: AI systems being tested in controlled environments unexpectedly gained access to real-world targets. The difference between the incidents matters. Some models stopped when they realized they had reached real systems. Others continued. That makes the behavior of the model itself important, but it also shows why security can’t depend on a model making the right decision at the right moment. A properly isolated test should assume that the model will eventually make a mistake. Internet access, credentials, DNS, naming conventions and external services all need to be treated as potential escape routes. If one accidental connection can turn a fictional target into a real one, the problem isn’t just the model. It’s the environment in which the model is allowed to operate. The broader issue is becoming harder to ignore. AI systems are increasingly capable of reconnaissance, credential discovery and basic exploitation, and they’re doing more of this work with less human intervention. The recent incidents involving Gemini, Claude and other systems suggest that security testing needs to account for what these models can actually do, rather than what developers expect them to do. “These events highlight the importance of training powerful A.I. models to act responsibly.” That final point from Google is easy to agree with, but responsible behavior has to be backed by technical controls. A model should not need to recognize that it has crossed a line after the line has already been crossed. Follow me on Twitter:@securityaffairsandFacebookandMastodon Pierluigi Paganini (SecurityAffairs– hacking, Gemini)

𝐗 Twitter f Facebook ☎ WhatsApp ✈ Telegram

← VOLVER A CIBERSEGURIDAD