¿Qué es la seguridad de la inteligencia artificial con agente?

Los sistemas de inteligencia artificial tradicionales están diseñados para realizar tareas específicas predefinidas basadas en datos de entrada o históricos. Los esfuerzos de seguridad normalmente se centran en la protección de modelos, la protección de los datos de entrenamiento y la validación de salidas durante la operación. Estas medidas ayudan a las organizaciones a mantener la integridad y la confiabilidad dentro de un ámbito definido.

La autonomía y las capacidades de toma de decisiones de la inteligencia artificial agentica suponen desafíos que los enfoques tradicionales no se diseñaron para abordar. Entre las principales diferencias se incluyen:

• Comportamiento del sistema: los sistemas de inteligencia artificial tradicionales responden a mensajes o entradas, mientras que los sistemas de inteligencia artificial con agente planean y llevan a cabo tareas activamente. Dado que los agentes pueden tomar medidas de forma independiente, sus decisiones pueden tener un impacto operativo directo.
• Toma de decisiones: la inteligencia artificial tradicional suele seguir las salidas de modelo o lógica predefinidas. La inteligencia artificial agentica adapta las decisiones en función del contexto y los resultados intermedios, lo que hace que el comportamiento sea menos predecible y aumenta la necesidad de supervisión continua y límites de protección.
• Ámbito de actividad: la inteligencia artificial tradicional suele funcionar dentro de una sola aplicación o flujo de trabajo. La inteligencia artificial agentica puede abarcar varios sistemas, herramientas y orígenes de datos, lo que aumenta el posible impacto de errores o riesgos.
• Uso de herramientas: la inteligencia artificial tradicional suele basase en integraciones predefinidas. La inteligencia artificial agentica puede llamar dinámicamente a API, herramientas y servicios, lo que crea puntos de entrada adicionales para el uso incorrecto o el ataque.
• Identidad y acceso: la IA tradicional se puede ejecutar en identidades de servicio compartidas o implícitas. Los sistemas de IA agentica suelen requerir identidades distintas y permisos definidos, por lo que la gobernanza de identidades y el acceso con privilegio mínimo son esenciales.
• Superficie expuesta a ataques: la seguridad tradicional de la inteligencia artificial se centra principalmente en proteger las entradas del modelo y los datos de entrenamiento. La inteligencia artificial agentica amplía la superficie expuesta a ataques para incluir herramientas, flujos de trabajo, memoria y sistemas conectados, lo que aumenta la exposición al uso incorrecto y al riesgo.

Las organizaciones que usan un proceso estructurado tienen más probabilidades de identificar, comprender y administrar los riesgos a los que podría enfrentarse un sistema. Al modelar amenazas en sistemas de inteligencia artificial con agente, es importante expandirse más allá de las aplicaciones, la infraestructura y los flujos de datos para incluir:

Los objetivos y comportamientos del agente

Identifique posibles acciones no deseadas mediante la definición de lo que el agente está diseñado para hacer, entre las que se incluyen:

• Qué objetivos puede lograr.
• Cómo planea y lleva a cabo tareas.
• Qué nivel de autonomía tiene.

Identidad y acceso

Un acceso demasiado amplio aumenta el riesgo de una vulneración o de un uso indebido. Al configurar identidades, evalúe:

• A qué sistemas y datos puede acceder el agente.
• Indica si los permisos siguen los principios de privilegios mínimos.
• Cómo se autentica el agente en otros servicios.

Herramientas e integraciones

Los sistemas agenticos se basan en herramientas externas para completar los objetivos, lo que puede expandir la superficie expuesta a ataques. Para proteger el entorno, defina:

• A qué API, complementos y bases de datos puede llamar el agente.
• Indica si se validan las entradas y salidas de la herramienta.
• Cómo se autorizan y restringen las acciones.

Entradas y orígenes de datos

Los agentes toman continuamente información de personas y sistemas externos. Para reducir el riesgo de entrada que no es de confianza, eche un vistazo a:

• Exposición a inserciones de mensajes o entradas malintencionadas.
• Manipulación o dudoso de datos.
• Límites de confianza entre los datos internos y externos.

Memoria y estado

Muchos agentes ahorran contexto a lo largo del tiempo, lo que puede ampliar el impacto de un ataque. Para reducir este riesgo, tenga en cuenta lo siguiente:

• Qué datos se almacenan en memoria.
• Si se conserva o se revela información confidencial.
• Cómo se puede modificar o dañar la memoria.

Finalización de tareas y acciones

Para ayudar a evitar que el riesgo técnico se convierta en riesgo operativo, evalúe:

• Qué acciones puede realizar el agente sin la aprobación de una persona.
• Qué medidas de seguridad ayudarán a limitar las operaciones de alto riesgo.
• Qué escenarios podrían provocar acciones en cascada entre sistemas.

Supervisión y respuesta

Dado que el comportamiento es dinámico, la visibilidad es clave. La supervisión que puede ayudarle a detectar o contener problemas en tiempo real incluye:

• Registro de decisiones y acciones.
• Detección de anomalías o infracciones de directivas.
• Crear la capacidad de pausar, invalidar o apagar el agente.

Abordar los riesgos al principio del proceso de diseño e implementación puede ayudarle a mantener la confianza y la integridad operativa. A medida que modela amenazas para los sistemas de inteligencia artificial con agente, es probable que'identifique los riesgos entre categorías que incluyen:

Riesgos de autonomía

Dado que los agentes toman decisiones por su cuenta, pueden tomar acciones que no se prevén por completo. Un único error puede desencadenar una cadena de pasos automatizados en los sistemas conectados, lo que provoca cambios imprevistas, problemas de datos o interrupciones operativas. La autonomía también hace que el comportamiento sea menos predecible. A medida que los agentes se adaptan a nuevas entradas y condiciones, resulta más difícil probar cada escenario o confiar en reglas fijas.

Riesgos de seguridad

Las conexiones a las API, los sistemas de identidad y las herramientas externas aumentan la exposición. Si los atacantes pueden aprovechar estas integraciones, podrían escalar el acceso o suplantar sistemas de confianza, lo que provocaría una posible pérdida de datos o problemas operativos.

Riesgos de seguridad y gobernanza

La naturaleza autónoma de la inteligencia artificial con agente hace que la supervisión sea increíblemente importante. Sin una gobernanza sólida, resulta difícil realizar un seguimiento de lo que ha sucedido, comprender por qué el agente tomó una decisión o determinar quién es responsable.

Riesgos de la cadena de suministro y del modelo

La inteligencia artificial agentica suele basarse en modelos, bibliotecas y herramientas de terceros, cada uno de los cuales agrega otra capa de riesgo. Si uno de estos componentes está en peligro, puede afectar a todo el sistema. Por ejemplo, un atacante podría usar una actualización malintencionada de una API de terceros para manipular el comportamiento del agente.

Consideraciones éticas

Sin los controles adecuados, los agentes pueden producir resultados sesgados o controlar los datos de maneras que entran en conflicto con la privacidad o las expectativas normativas. Los estándares claros ayudan a las organizaciones a exigir imparcialidad, transparencia y cumplimiento.

Puede ayudar a que los sistemas de inteligencia artificial sean seguros, confiables y alineados con los objetivos empresariales centrándose en algunas áreas principales. Estos pilares le permiten mantener el control sobre el comportamiento, el acceso y las interacciones con otros sistemas, para que los agentes puedan tomar decisiones y realizar tareas con un riesgo mínimo.

Administración de identidad y acceso

Para mantener la responsabilidad y la rastreabilidad, trate los sistemas de inteligencia artificial con agente como identidades de primera clase e incorpórelos en los marcos de gobernanza de identidades existentes. Asigne credenciales únicas a cada agente, aplique el acceso con privilegios mínimos y aplique mecanismos de autenticación seguros.

Barreras de protección y aplicación de directivas

Puede establecer límites explícitos para el comportamiento del agente a través de controles basados en directivas. Los límites de protección deben restringir las herramientas a las que pueden acceder los agentes, las acciones que pueden realizar y en qué condiciones. La aplicación de directivas en tiempo real le ayudará a evitar acciones no autorizadas o no seguras.

Observabilidad y supervisión

La observabilidad proporciona visibilidad sobre el comportamiento del agente, las decisiones, el acceso a los datos y el uso de herramientas. Permite a las organizaciones detectar anomalías, investigar riesgos y aplicar la gobernanza para que los agentes funcionen de forma segura, transparente y en consonancia con la directiva. La supervisión continua es clave para detectar anomalías en el comportamiento del agente. Implemente análisis que realicen un seguimiento de las acciones del agente, las decisiones y el uso de herramientas.

Protección de datos

A menudo, los agentes controlan los datos confidenciales al realizar tareas. Para reducir el riesgo de pérdida, aplique el cifrado a los datos en tránsito y en reposo, aplique prácticas estrictas de minimización de datos y supervise el acceso a datos no autorizados.

Seguridad del modelo y de la cadena de suministro

La seguridad de la cadena de suministro de software desempeña un papel importante en la seguridad de la inteligencia artificial con agente. Es importante validar que los modelos, las API y las herramientas de terceros son de confianza y se comportan según lo previsto. Para cualquier componente externo, compruebe la eficacia mediante prácticas como la firma de código, la validación de paquetes y los orígenes de distribución de confianza.

Gobernanza y supervisión humana

Por último, para alinear la inteligencia artificial agentica con los principios de inteligencia artificial responsable y los requisitos de cumplimiento normativo, decida qué acciones se permiten, quién es responsable y cómo aplicará las decisiones.

La protección de la inteligencia artificial con agente requiere un enfoque proactivo y en capas que aborde los desafíos técnicos y de gobernanza. Algunos procedimientos recomendados pueden ayudarle a crear y escalar sistemas que cumplan los objetivos empresariales mientras administran los riesgos.

Comience con tareas estrechas y con ámbito correcto

Comience por implementar la inteligencia artificial con agente en entornos controlados con funcionalidad limitada. Asignar agentes a tareas claramente definidas y de bajo riesgo le ayudará a minimizar el impacto si algo va mal.

Uso de entornos de espacio aislado para acciones de agente

Para reducir el riesgo para los entornos de producción y los datos confidenciales, aísle las operaciones del agente en entornos de espacio aislado o virtualizados. Aplique controles de clasificación de datos, como etiquetas de confidencialidad, para asegurarse de que los agentes solo interactúan con los datos aprobados en función de la clasificación y confidencialidad.

Implementar barreras de protección superpuestas

Puede resultar complicado supervisar y controlar los sistemas dinámicos, pero puede limitar el comportamiento del agente definiendo las herramientas a las que pueden acceder, las acciones que pueden realizar y en qué condiciones. Asigne identidades distintas a los agentes y aplique controles de acceso basados en roles para controlar los datos y sistemas a los que pueden acceder. Para obtener el control máximo, combine directivas estáticas con comprobaciones dinámicas en tiempo de ejecución.

Prueba continua de inserción de mensajes y jailbreaks

Dado que la inteligencia artificial agentica puede actuar de forma autónoma y encadenar varias acciones, existe el riesgo de que los atacantes manipulen una de sus entradas para que se comporte de forma no segura o no involuntario. Realice regularmente ejercicios de formación de equipos rojos y pruebas adversarias para detectar puntos débiles antes que los atacantes.

Establecimiento de rutas de escalado y flujos de trabajo de gobernanza

Cree procedimientos de escalación claros para acciones de alto riesgo. Para operaciones confidenciales, como transacciones financieras o cambios en la configuración del sistema, implemente puntos de control humanos en bucle.

Alineación con los principios de la inteligencia artificial responsable

Cree agentes que cumplan los estándares éticos, las directrices de imparcialidad y los requisitos normativos mediante la incorporación de pruebas de sesgo, revisiones de explicación y validación de cumplimiento. Las leyes de inteligencia artificial y privacidad de datos están evolucionando, por lo que es una buena idea volver a evaluar periódicamente el grado de mantenimiento de los sistemas.

No todos los casos de uso de inteligencia artificial con agente conllevan el mismo riesgo. Comprender la diferencia entre los escenarios de riesgo bajo y alto puede ayudarle a priorizar por dónde empezar y qué controles implementar. Dos casos de uso comunes de seguridad de la inteligencia artificial con agente ayudan a ilustrar las diferencias:

Evaluación de prioridades de atención al cliente (bajo riesgo)

En este escenario, un sistema de inteligencia artificial con agente ayuda a un equipo de soporte técnico al clasificar las incidencias entrantes, sugerir respuestas y enrutar problemas al departamento adecuado.

• Por qué es de bajo riesgo:
  • El agente funciona dentro de un entorno controlado.
  • Las acciones se limitan a la clasificación de incidencias y las sugerencias de respuesta.
  • No hay acceso directo a sistemas financieros o operativos confidenciales.
• Consideraciones de seguridad:
  • Aplique barreras de protección para evitar que el agente escale los vales sin aprobación.
  • Supervise los intentos de inyección de mensajes que podrían manipular el enrutamiento de incidencias.

Automatización de transacciones financieras (alto riesgo)

En este caso, un sistema de inteligencia artificial con agente está autorizado para iniciar y aprobar transacciones financieras basadas en reglas de negocios predefinidas.

• Por qué es de alto riesgo:
  • El agente tiene acceso directo a los sistemas financieros y a la información confidencial.
  • Existe la posibilidad de que se produzcan fraudes a gran escala o interrupciones operativas si se ponen en peligro.
• Consideraciones de seguridad:
  • Aplique una administración estricta de identidades y acceso para el agente.
  • Implemente la aprobación humana en bucle para transacciones de alto valor.
  • Supervise continuamente los patrones de transacción anómalos.

Antes de implementar o escalar sistemas de inteligencia artificial con agente, dedique algún tiempo a comprobar la preparación de su organización en algunas áreas clave:

• Madurez de la gobernanza. ¿Existen rutas de acceso de escalación y flujos de trabajo de aprobación?
• Controles de identidad. ¿Los agentes se tratan como identidades únicas con acceso con privilegios mínimos?
• Capacidades de supervisión. ¿Puede la organización detectar y responder al comportamiento anómalo del agente en tiempo real?
• Tolerancia al riesgo. ¿Entiende y acepta la empresa el posible impacto de la autonomía del agente en el caso de uso elegido?

Al comenzar con escenarios de bajo riesgo e introducir gradualmente la inteligencia artificial con agente en flujos de trabajo más complejos, su organización puede generar confianza al tiempo que mantiene la seguridad y el cumplimiento.

La protección de la inteligencia artificial con agente es una parte fundamental de la adopción de sistemas autónomos de forma responsable. A medida que estos sistemas toman más decisiones y se conectan entre entornos, presentan riesgos que los enfoques de seguridad tradicionales no se diseñaron para administrar. La gobernanza de identidades, la aplicación clara de directivas y la supervisión continua desempeñan un papel en la alineación de los sistemas con los requisitos de cumplimiento y intención empresarial. Al adoptar un enfoque proactivo, ayudará a mantener la confianza, reducir la exposición a las amenazas emergentes y mantener el comportamiento autónomo dentro de los límites definidos.

Puede admitir una implementación de inteligencia artificial más segura en su organización con un conjunto de soluciones unificadas de seguridad de IA con agente de Microsoft. Seguridad de Microsoft reúne capacidades de administración de identidad y acceso, detección de amenazas, protección de datos y gobernanza para ayudarle a mantener el control de los sistemas autónomos. Con la inteligencia artificial integrada para la ciberseguridad, puede acelerar las investigaciones y ayudar a los equipos a trabajar juntos de forma más eficaz. Juntas, estas soluciones proporcionan una base práctica para administrar el riesgo, proteger los sistemas de inteligencia artificial y admitir el uso responsable de la inteligencia artificial con agente.