¿Qué es la seguridad de los agentes de IA?: por qué es importante y cómo prepararse

La seguridad de los agentes de IAabarca los controles, las políticas y los mecanismos de gobernanza que garantizan que se verifique la identidad de un agente de IA, se autoricen sus acciones, se restrinja su acceso y su comportamiento sea observable y auditable a lo largo de todo su ciclo de vida operativo.

¿Qué es la seguridad de los agentes de IA?

La seguridad de los agentes de IA se centra en la seguridad de los sistemas de IA autónomos individuales, es decir, los propios agentes, en su funcionamiento dentro de entornos empresariales. Aborda cómo se identifica cada agente, qué está autorizado a hacer, cómo se supervisan sus acciones y cómo se garantiza la rendición de cuentas cuando un agente actúa en nombre de una organización.

Esta disciplina se distingue de varios conceptos relacionados:

La seguridad de los modelos de IAse refiere a la integridad y la seguridad de los modelos de aprendizaje automático subyacentes, y consiste en protegerlos contra entradas adversas, el envenenamiento de datos y el robo de modelos. No aborda lo que hace un agente una vez implementado.

La seguridad de las entradasse centra en evitar que las instrucciones de un agente sean manipuladas mediante entradas diseñadas específicamente para ello. Se trata de un aspecto concreto dentro del panorama más amplio de la seguridad de los agentes.

La seguridad de la IA agencialaborda cuestiones a nivel del sistema, como la orquestación de múltiples agentes, la coordinación entre agentes y la gobernanza de sistemas autónomos a gran escala. La seguridad de los agentes de IA, por el contrario, se centra en proteger al agente individual como actor independiente dentro de ese sistema.

La seguridad de los agentes de IA se sitúa en la intersección entre la gestión de identidades, el control de acceso y la gobernanza operativa. Considera al agente como una entidad que debe ganarse y mantener la confianza, en lugar de como una herramienta que hereda la confianza de la persona que lo ha implementado.

La pregunta fundamental a la que responde la seguridad de los agentes de IA es muy clara: ¿cómo puede una organización verificar la identidad de un agente, controlar lo que puede hacer, observar lo que está haciendo y exigirle responsabilidades por sus acciones?

Por qué los agentes de IA plantean nuevos retos de seguridad

A diferencia software tradicional, que ejecuta instrucciones predefinidas dentro de unos límites predecibles, los agentes de IA analizan los entornos, toman decisiones basadas en el contexto y llevan a cabo acciones que los equipos que los implementaron no habían previsto explícitamente.

Este cambio fundamental plantea varios retos de seguridad para los que los marcos existentes no fueron diseñados.

Ejecución autónoma:
Los agentes de IA operan sin supervisión humana continua. Una vez implementado, un agente puede ejecutar una cadena de acciones (por ejemplo, consultar bases de datos, llamar a API, modificar registros o activar flujos de trabajo) sin esperar a que se apruebe cada paso. La rapidez y la autonomía de esta ejecución hacen que los errores, las configuraciones incorrectas o las acciones no autorizadas puedan acumularse antes de que nadie intervenga.

Comportamiento impredecible:
A diferencia de la automatización determinista, los agentes de IA interpretan las instrucciones y el contexto para decidir cuál será su siguiente acción. Dos comandos idénticos pueden dar lugar a distintas vías de ejecución en función de los datos con los que se encuentre el agente, el estado de los sistemas con los que interactúa y el modelo de razonamiento que aplique. Esta imprevisibilidad dificulta anticipar todas las acciones posibles que podría llevar a cabo un agente.

Explicabilidad limitada:
Los agentes de IA suelen tomar decisiones mediante procesos internos muy complejos que resultan difíciles de interpretar o validar. Esta falta de explicabilidad complica la detección de amenazas, la evaluación de la confianza, la respuesta ante incidentes, etc. A los equipos les puede resultar difícil comprender por qué un agente ha realizado una acción concreta, ha accedido a datos confidenciales o se ha comportado de forma inesperada.

Acceso entre sistemas:
Los agentes de IA interactúan con frecuencia con varios sistemas en un mismo flujo de trabajo. Un agente puede leer datos de una base de datos de clientes, escribir en un sistema financiero y activar un servicio de notificaciones. Cada una de estas interacciones representa una superficie de ataque potencial y un punto en el que deben aplicarse controles de acceso.

Persistencia:
A diferencia de un usuario humano, que inicia sesión, realiza una tarea y cierra sesión, los agentes de IA suelen mantener un acceso permanente a los sistemas. Analizan los entornos de forma continua, conservando el contexto y las credenciales entre sesiones. Esta persistencia amplía el periodo de exposición en caso de que un agente resulte comprometido o esté mal configurado.

• Frank Vukovits, científico jefe de seguridad de Delinea, escribió en el Digital Trust Digest Keyfactor: «Se está depositando confianza en los agentes de IA a un ritmo más rápido del que se adaptan los modelos de gobernanza, identidad y privilegios para controlarlos». Las organizaciones están implementando agentes en entornos de producción mientras que la infraestructura de seguridad que los rodea sigue estando incompleta.

El perfil de riesgo único de los agentes de IA

Los agentes de IA presentan un perfil de riesgo diferente al de los usuarios humanos y al de los sistemas automatizados tradicionales. Comprender estos riesgos es fundamental para desarrollar controles de seguridad eficaces.

Agentes con permisos excesivos:
Las organizaciones suelen otorgar a los agentes de IA amplios permisos para garantizar que puedan completar las tareas que se les asignan. En la práctica, esto significa que los agentes suelen tener acceso a muchos más sistemas y datos de los que requiere una sola tarea. Un agente configurado para «atender las consultas de los clientes» puede disponer de credenciales que le permitan acceder a sistemas de facturación, modificar registros de cuentas y leer documentación interna. Se trata de capacidades que superan con creces el alcance previsto.

Según la encuesta «Digital Trust Digest» Keyfactor, el uso indebido de los sistemas de acceso y de privilegios excesivos impulsado por la IA figura entre las principales amenazas percibidas a las que se enfrentan las organizaciones en la actualidad. El riesgo no radica en una IA maliciosa, sino en lo que ocurre cuando los sistemas autónomos operan con demasiada confianza.

Uso indebido de credenciales:
Los agentes de IA utilizan credenciales (por ejemplo, claves API, tokens o certificados) para autenticarse en los sistemas a los que acceden. Si esas credenciales tienen un alcance demasiado amplio, no se renuevan adecuadamente o se comparten entre distintos agentes, una sola credencial comprometida puede otorgar acceso a toda una red de sistemas conectados. Los agentes no dudan y actúan a la velocidad de una máquina, lo que significa que el uso indebido de credenciales puede extenderse mucho más rápido de lo que lo haría con un agente humano.

Acciones no deseadas:
Un agente al que se le ordene «optimizar el rendimiento del sistema» podría interpretar esa instrucción de formas que sus operadores no habían previsto, como cerrar servicios que considere infrautilizados, modificar configuraciones o ampliar sus propios privilegios para alcanzar el objetivo. Estas acciones no son maliciosas. Son el resultado de un sistema autónomo que persigue un objetivo sin el criterio contextual que aplicaría un ser humano.

Falta de atribución:
Cuando un agente de IA lleva a cabo una acción, a menudo no queda claro quién o qué es responsable. ¿Actuó el agente por su propio criterio? ¿Estaba siguiendo una indicación de un usuario? ¿Fue modificada esa indicación por otro sistema? Sin mecanismos sólidos de identificación y auditoría, las organizaciones no pueden rastrear las acciones hasta su origen, lo que complica considerablemente la respuesta ante incidentes y la elaboración de informes de cumplimiento normativo.

Los datos de la encuesta ponen de relieve la gravedad de este reto: el 69 % de los directivos afirma que las vulnerabilidades relacionadas con la IA supondrán una amenaza mayor que el uso indebido de la IA por parte de las personas; sin embargo, la mitad de las organizaciones aún no ha implantado plenamente un marco de gobernanza para los agentes de IA.

Cómo interactúan los agentes de IA con los sistemas empresariales

Los agentes de IA no funcionan de forma aislada. Interactúan con los sistemas empresariales a través de una serie de mecanismos que las organizaciones deben comprender y controlar.

API y acceso a herramientas:
La mayoría de los agentes de IA interactúan con sistemas externos a través de interfaces de programación de aplicaciones (API). Estos realizan llamadas a puntos de conexión para recuperar datos, enviar cambios, activar procesos y recibir respuestas. Cada llamada a una API representa una interacción que debe ser autenticada, autorizada y registrada. Los agentes también pueden utilizar herramientas, es decir, funciones predefinidas que amplían sus capacidades, cada una de las cuales representa un vector de acceso adicional.

Acceso a los datos:
Los agentes de IA suelen necesitar acceso a datos confidenciales para llevar a cabo sus tareas. Los registros de clientes, los datos financieros, los documentos internos y los archivos de configuración pueden entrar dentro del ámbito operativo de un agente. El alcance del acceso a los datos que necesita un agente debe definirse de forma explícita y garantizarse de manera continua.

Autoridad delegada:
Cuando un agente de IA actúa en nombre de un usuario o una organización, ejerce una autoridad delegada. Lleva a cabo acciones que un ser humano ha autorizado, pero es el propio agente quien toma las decisiones sobre cuándo, cómo y en qué orden se producen dichas acciones. Esta delegación crea una relación de confianza que debe regularse: la organización debe tener la certeza de que el agente actuará dentro de los límites de la autoridad que se le ha concedido.

• Cada uno de estos tipos de interacción debe estar controlado. Cada llamada a la API, cada solicitud de acceso a datos y cada acción delegada representa un punto en el que es necesario establecer y verificar la confianza. La cuestión no es si los agentes de IA interactuarán con los sistemas empresariales, ya que, de hecho, ya lo hacen. La cuestión es si cada interacción se rige por el mismo rigor que las organizaciones aplican al acceso humano.

Por cada identidad humana que hay en una organización, existen 80 identidades no humanas. Los agentes de IA constituyen la categoría de identidades no humanas que más rápido está creciendo, y cada uno de ellos requiere la misma infraestructura de confianza básica que las organizaciones ya aplican a los servidores, los contenedores y las cargas de trabajo.

Requisitos de seguridad fundamentales para los agentes de IA

La protección de los agentes de IA requiere un conjunto de capacidades básicas que aborden la identidad, el acceso, los límites y la visibilidad. Estos requisitos son de carácter conceptual y se aplican independientemente de las tecnologías específicas que utilice una organización para implementarlos.

Autenticación

Todo agente de IA debe tener una identidad verificable. Las organizaciones deben poder confirmar que un agente es quien dice ser antes de concederle acceso a cualquier sistema o dato. La autenticación de los agentes de IA debe ser nativa del sistema, automatizada y resistente al robo de credenciales o a la suplantación de identidad.

Autorización:
Una vez autenticado, a un agente solo se le debe permitir realizar aquellas acciones que estén explícitamente autorizadas para su rol, su tarea actual y el sistema específico al que está accediendo. La autorización debe ser granular, tener en cuenta el contexto y aplicarse en cada interacción; no debe concederse una sola vez y darse por sentada de forma indefinida. En el contexto de los agentes de IA, el principio del «privilegio mínimo» implica conceder solo el acceso necesario, en el momento justo, para una acción específica, y revocarlo inmediatamente después.

Límites de acceso:
Los agentes de IA deben operar dentro de unos límites claramente definidos. Estos límites restringen a qué sistemas puede acceder un agente, qué datos puede leer o modificar y qué acciones puede activar. Los límites deben aplicarse mediante programación y no deben depender del criterio propio del agente para que este se autolimite.

Observabilidad:
Cada acción que realiza un agente debe ser observable. Las organizaciones deben poder supervisar el comportamiento de los agentes en tiempo real, registrar cada interacción y auditar esos registros con fines de cumplimiento normativo, respuesta ante incidentes y mejora continua. Sin observabilidad, las organizaciones no pueden detectar cuándo un agente actúa fuera del ámbito previsto.

Estos cuatro requisitos constituyen la base de seguridad para cualquier implementación de agentes de IA. Si no se cumplen los cuatro, las organizaciones no pueden generar la confianza necesaria para permitir que los agentes operen en entornos de producción.

Riesgos de seguridad habituales en los agentes de IA

A pesar de que se han establecido requisitos básicos de seguridad, los agentes de IA plantean riesgos operativos que las organizaciones deben gestionar de forma activa.

Actuación fuera del ámbito de competencia:
Un agente al que se le ha encomendado un objetivo específico puede llevar a cabo acciones que se salen del ámbito de competencia previsto. Un agente autorizado para actualizar los registros de inventario podría, al perseguir su objetivo, acceder a datos sobre precios, modificar acuerdos con proveedores o consultar sistemas con los que nunca se pretendía que interactuara. La desviación del ámbito de competencia en los agentes de IA no es intencionada, sino que es una consecuencia del razonamiento autónomo aplicado sin restricciones suficientemente estrictas.

Activación de flujos de trabajo no deseados:
Los agentes de IA interactúan con sistemas interconectados. Una acción en un sistema, como actualizar un registro o llamar a una API, puede activar flujos de trabajo posteriores en otros sistemas. Un agente que modifique el registro de un cliente podría activar inadvertidamente un ciclo de facturación, una notificación de cumplimiento normativo o un proceso de sincronización de datos. Las organizaciones deben comprender los efectos en cadena que tienen las acciones de los agentes en toda su infraestructura.

Malinterpretación de los datos de entrada:
Los agentes de IA operan a partir de los datos de entrada que reciben, como instrucciones, datos o contexto. Si esos datos son ambiguos, incompletos o están dañados, las acciones del agente reflejarán esos defectos. Un agente que malinterprete una instrucción puede ejecutar una acción válida pero incorrecta, y lo hará con la misma rapidez y seguridad con que aplica las acciones correctas.

Ejecución sin validación:
Muchos agentes de IA se implementan sin suficientes controles de validación, que son puntos de verificación en los que se revisa la acción prevista por el agente antes de su ejecución. Sin estos controles, los agentes pueden llevar a cabo acciones de gran repercusión (modificar configuraciones, acceder a datos confidenciales, activar comunicaciones externas) sin ninguna confirmación por parte de personas o del sistema.

Estos riesgos no son meras hipótesis. Son la realidad operativa que conlleva la implementación de sistemas autónomos en entornos empresariales complejos. Gestionarlos requiere una gobernanza proactiva, una supervisión continua y la capacidad de revocar el acceso de un agente de forma inmediata cuando su comportamiento se desvía de lo esperado.

La situación actual de las organizaciones

La mayoría de las organizaciones reconocen que los agentes de IA requieren una gestión de la seguridad específica. Sin embargo, en la práctica, son pocas las que la han implementado. La encuesta «Digital Trust Digest» Keyfactorpone de manifiesto una brecha significativa entre la concienciación y la acción, una brecha que se amplía a medida que se acelera la implantación de estos agentes.

La gobernanza sigue siendo incompleta:
La mitad de las organizaciones no ha implementado plenamente marcos de gobernanza para los agentes de IA. Más de un tercio tiene planes, pero no ha tomado medidas formales. Muchas se basan en modelos de identidad existentes que nunca se diseñaron para actores autónomos, no porque esos modelos sean adecuados, sino porque son los únicos disponibles. El resultado es un mosaico de controles que puede abordar riesgos individuales, pero que no ofrece una cobertura integral del comportamiento, el acceso y la rendición de cuentas de los agentes.

Las capacidades de detección y respuesta van a la zaga de la implantación:
Los datos de la encuesta sobre la preparación para la detección son especialmente preocupantes. Solo el 28 % de las organizaciones afirma que podría detener a un agente de IA rebelde antes de que causara daños. Otro 47 % podría detenerlo, pero solo una vez que el daño ya se hubiera producido. Y el 23 % podría detectar a un agente rebelde, pero no se mostraba seguro de poder detenerlo. Un pequeño porcentaje admitió que no confiaba en poder detectar ni detener a un agente rebelde en absoluto.

Estas cifras reflejan un modelo de seguridad diseñado para un entorno más lento y predecible. Los agentes de IA operan a la velocidad de las máquinas, y las capacidades de detección y respuesta deben adaptarse a ese ritmo. Se trata de un nivel que la mayoría de las organizaciones aún no han alcanzado.

La concienciación de los directivos no ha avanzado al mismo ritmo:
A pesar de las preocupaciones expresadas por los equipos de seguridad, los directivos de las organizaciones han tardado en considerar la seguridad de los agentes de IA como una prioridad estratégica. El 55 % de los encuestados cree que sus directivos no se están tomando lo suficientemente en serio los riesgos relacionados con la identidad digital. Esta desconexión entre la concienciación de los profesionales y la actuación de los ejecutivos crea una brecha peligrosa: los equipos de seguridad comprenden los riesgos, pero carecen del mandato y los recursos de la organización para abordarlos antes de que los agentes se integren profundamente en los flujos de trabajo críticos.

Los modelos de identidad actuales se están viendo sometidos a una presión que excede su diseño:
La mayoría de los programas de gestión de accesos privilegiados se crearon pensando en los seres humanos. Incluso cuando esos programas se ampliaron a aplicaciones, scripts y cuentas de servicio, los supuestos se mantuvieron intactos: comportamiento predecible, flujos de trabajo deterministas y credenciales que podían inventariarse y revisarse según un calendario fijo. Los agentes de IA rompen esos supuestos. Razonan a través de los entornos, encadenan herramientas con diferentes modelos de permisos y operan de forma continua. Las organizaciones están incorporando agentes a marcos de identidad que no fueron diseñados para actores que piensan, se adaptan y persisten.

Las organizaciones mejor preparadas para garantizar la seguridad de los agentes de IA no son necesariamente aquellas que implementan los agentes más avanzados. Son aquellas que invirtieron desde el principio en los fundamentos de la identidad, tratando las identidades no humanas como una infraestructura de primer orden, diseñando sistemas para credenciales de corta duración y automatizando la gestión del ciclo de vida, y que ahora están ampliando esas capacidades para abarcar los sistemas de IA autónomos.

Por qué la identidad es importante para la seguridad de los agentes de IA

La identidad es la base de la seguridad de los agentes de IA. Sin una identidad verificada y única para cada agente, las organizaciones no pueden autenticar, autorizar, supervisar ni exigir responsabilidades a los agentes.

La confianza requiere verificación:
Cada medida de seguridad, ya sea la gestión de accesos, el registro de auditoría, la respuesta ante incidentes, etc., depende de saber qué entidad ha realizado una acción. En el caso de los usuarios humanos, la identidad se establece mediante credenciales, la autenticación multifactorial y los proveedores de identidad. Los agentes de IA requieren el mismo rigor. Un agente sin una identidad verificable es un actor desconocido que opera dentro de los límites de confianza.

La rendición de cuentas requiere atribución:
Cuando un agente de IA lleva a cabo una acción que produce consecuencias no deseadas, las organizaciones deben poder rastrear dicha acción hasta un agente concreto, comprender el contexto en el que se produjo y determinar bajo qué autoridad actuaba el agente. Sin una identidad sólida, la rendición de cuentas se desmorona. Las organizaciones deben ser capaces de responder a una serie de preguntas fundamentales sobre cada agente de su entorno: ¿Cómo funciona este sistema? ¿Qué medidas de protección de datos existen? ¿Cómo sabemos qué agente está interactuando con qué sistema? ¿Qué mecanismos de responsabilidad se han establecido?

La identidad como plano de control:
La identidad no es simplemente una etiqueta administrativa. Es el mecanismo a través del cual se aplican todos los demás controles de seguridad. La autenticación verifica la identidad. La autorización se concede a una identidad. Los registros de acceso se atribuyen a una identidad. La revocación se aplica a una identidad. Sin la identidad como plano de control, todas las demás capas de seguridad de los agentes de IA funcionan sin una base sólida.

El reto radica en la escala. Por cada identidad humana, hay 80 identidades no humanas, y los agentes de IA están aumentando esa proporción rápidamente. Las organizaciones deben tratar las identidades de los agentes de IA con el mismo rigor en materia de gobernanza, gestión del ciclo de vida y criptografía que aplican a cualquier otra identidad de máquina. De lo contrario, corren el riesgo de crear una clase de actores totalmente fuera de control dentro de su infraestructura.

Principios fundamentales para la seguridad de los agentes de IA

Para garantizar la seguridad de los agentes de IA es necesario contar con un conjunto de principios rectores que abarquen la gobernanza, la tecnología y las prácticas operativas.

Identidad sólida:
Cada agente de IA debe tener una identidad única, verificable y nativa del sistema, que sea emitida, gestionada y revocable. La identidad no debe compartirse entre agentes ni heredarse de los usuarios que los implementan.

Princípio del privilegio mínimo:
Los agentes deben disponer del acceso mínimo necesario para la tarea que estén realizando, y no de permisos amplios que se anticipen a necesidades futuras. El acceso debe limitarse a la acción concreta, al sistema específico y al intervalo de tiempo concreto.

«Zero trust»:
No se debe confiar implícitamente en los agentes de IA basándose en su ubicación, en quién los ha implementado o en su comportamiento anterior. Cada interacción debe verificarse. El enfoque «zero trust» debe ir más allá de los supuestos centrados en el ser humano para abarcar a los agentes máquinas autónomos.

Cifrado de datos:
Todos los datos a los que un agente acceda, transmita o almacene deben estar cifrados tanto en tránsito como en reposo. Los agentes no deben tener acceso a datos confidenciales sin cifrar, salvo que se les haya autorizado y supervisado expresamente.

Ejecución controlada:
Los agentes deben operar dentro de los límites de ejecución definidos. Las acciones de alto impacto deben estar sujetas a controles de validación. Los agentes no deben poder ampliar sus propios privilegios ni ampliar su propio acceso sin una autorización explícita.

Fortalecimiento de las indicaciones:
Las instrucciones que recibe un agente deben ser resistentes a la manipulación. La validación de entradas, las comprobaciones de integridad de las instrucciones y la separación entre las instrucciones del sistema y las del usuario reducen el riesgo de que se ordene a un agente actuar fuera de su ámbito previsto.

Supervisión y auditoría:
Cada acción de los agentes debe registrarse, atribuirse y estar disponible para su supervisión en tiempo real y su auditoría retrospectiva. Cualquier comportamiento anómalo debe activar alertas. Los registros de auditoría deben ser a prueba de manipulaciones.

Revocación y desactivación:
Las organizaciones deben poder revocar las credenciales de un agente, suspender sus operaciones y desactivarlo por completo, de forma inmediata y sin depender de la cooperación del agente. Si un agente se ve comprometido o se comporta de forma inesperada, la organización debe poder neutralizarlo de inmediato.

Estos principios no son mejoras opcionales. Son los requisitos mínimos para implementar agentes de IA de forma responsable. Las organizaciones que implementan agentes sin contar con estos controles están introduciendo agentes autónomos en su infraestructura sin poder controlarlos.

Por qué Keyfactor relevante para la seguridad de los agentes de IA

Keyfactor líder mundial en confianza digital y se especializa en la gestión de identidades de máquinas y en la infraestructura que permite a las organizaciones autenticar, autorizar y gestionar todas las entidades no humanas de su entorno. Los agentes de IA son, en esencia, identidades de máquinas. Lo son. Se trata de agentes autónomos que requieren el mismo nivel de confianza criptográfica, gestión del ciclo de vida y gobernanza que las organizaciones ya aplican a los dispositivos, las cargas de trabajo y los sistemas conectados.

Los retos que plantea la seguridad de los agentes de IA son una prolongación de los retos Keyfactor años abordando: gestionar identidades a gran escala, garantizar que todas las entidades sean verificables y proporcionar a las organizaciones la visibilidad y el control que necesitan para mantener la confianza en toda su infraestructura. A medida que proliferan los agentes de IA, la necesidad de una gestión de identidades escalable y automatizada se hace cada vez más urgente.

Para descubrir cómo Keyfactor ayudar a su organización a proteger las identidades de los agentes de IA a gran escala, solicite una demostración.