3 min read

El riesgo que crece tan rápido como la adopción: quién vigila a sus agentes de IA

Q: ¿A qué información corporativa puede acceder el agente, y quién lo autorizó?

La organización debe definir desde el diseño qué información puede consultar el agente y bajo qué permisos, así como quién autorizó dicho acceso.

Q: ¿Qué sistemas y herramientas puede utilizar para ejecutar acciones?

El gobierno del agente debe establecer qué herramientas puede utilizar y sobre qué sistemas puede operar.

Q: ¿Qué decisiones o acciones requieren siempre aprobación humana antes de ejecutarse?

Las acciones que requieren aprobación humana deben definirse previamente según el nivel de autonomía, riesgo, políticas y límites establecidos para cada caso de uso.

Q: ¿Cómo se registran las consultas, decisiones y acciones del agente para poder auditarlas?

Las consultas, decisiones y acciones del agente deben registrarse para mantener trazabilidad y permitir su revisión y auditoría posterior.

Q: ¿Con qué frecuencia se evalúa su precisión, relevancia y comportamiento una vez en operación?

El comportamiento, la precisión y la relevancia del agente deberían evaluarse de forma continua, ya que pueden cambiar conforme evolucionan los datos, los procesos y el volumen de uso.

Roberto Ulises Perez Quijano : Updated on agosto 28, 2026

AI adopción de Inteligencia Artificial Agentes de IA gobierno Estrategia de IA Automatización Empresarial procesos automatizar IA Automatización administrativa IA agentes de IA Memoria en Agentes IA

El riesgo que crece tan rápido como la adopción: quién vigila a sus agentes de IA

6:15

Gartner identificó el descubrimiento de vulnerabilidades mediante inteligencia artificial como uno de los principales riesgos emergentes del segundo trimestre de 2026. En paralelo, la firma proyecta que el mercado dedicado específicamente a asegurar soluciones de IA alcanzará 4,800 millones de dólares en 2027.

Ambos datos describen la misma realidad desde dos ángulos distintos: la misma IA que hoy permite automatizar procesos, consultar información y ejecutar acciones también amplía la superficie de riesgo de la organización que la utiliza. No es una razón para detener la adopción de agentes de IA. Es una razón para no separar la conversación sobre capacidad de la conversación sobre gobierno.

A mayor autonomía de un agente de IA, mayor necesidad de control. No es una advertencia abstracta: es una proporción que debería diseñarse desde el primer caso de uso.

De responder a actuar

El entusiasmo por los agentes no debería adelantarse al gobierno

Es comprensible el interés por pasar de chatbots que solo responden preguntas a agentes que consultan información corporativa, utilizan herramientas y participan en procesos de negocio. Ese salto es, precisamente, lo que distingue a un agente empresarial de un asistente conversacional.

Pero ese mismo salto —de responder a actuar— es el que multiplica lo que hay que proteger. Un agente que solo conversa puede, en el peor caso, dar una respuesta incorrecta. Un agente que además consulta sistemas, ejecuta herramientas y genera documentos puede, sin los controles adecuados, acceder a información que no debería, ejecutar una acción que no correspondía o exponer una ruta que antes no existía.

Responder

Un agente que solo conversa puede, en el peor caso, dar una respuesta incorrecta.

Actuar

Un agente que además consulta sistemas, ejecuta herramientas y genera documentos amplía lo que hay que proteger.

Gobierno desde la arquitectura

Gobernar un agente no significa frenarlo

En la práctica, gobernar un agente de IA empresarial significa definir, desde el diseño, varias cosas concretas: qué información puede consultar y bajo qué permisos, qué herramientas puede utilizar y sobre qué sistemas, qué acciones requieren aprobación humana antes de ejecutarse, y cómo se registran sus consultas, decisiones y acciones para poder revisarlas después.

Información y permisos

Qué información puede consultar y bajo qué permisos.

Herramientas y sistemas

Qué herramientas puede utilizar y sobre qué sistemas.

Aprobación humana

Qué acciones requieren aprobación humana antes de ejecutarse.

Trazabilidad

Cómo se registran sus consultas, decisiones y acciones para poder revisarlas después.

Ninguno de estos controles es exclusivo de organizaciones grandes o de sectores regulados. Son la diferencia entre un agente que la organización puede escalar con confianza y uno que se queda como una demostración interesante que nadie se atreve a llevar a producción.

Autonomía según el riesgo

La autonomía se diseña según el riesgo, no se asume por defecto

No todos los agentes necesitan el mismo nivel de autonomía. Algunos deberían limitarse a consultar y explicar información. Otros pueden analizar una situación y recomendar una acción para que una persona decida. Otros pueden preparar una acción y esperar aprobación antes de ejecutarla. Y en procesos suficientemente maduros y acotados, algunos pueden ejecutar determinadas actividades de forma controlada, dentro de políticas y límites definidos con anticipación.

Consultar

Consultar y explicar información.

Recomendar

Analizar una situación y recomendar una acción para que una persona decida.

Preparar

Preparar una acción y esperar aprobación antes de ejecutarla.

Ejecutar

Ejecutar determinadas actividades de forma controlada, dentro de políticas y límites definidos con anticipación.

La pregunta que debería guiar cada caso de uso no es "qué tan autónomo queremos que sea nuestro agente", sino "qué puede consultar, qué puede recomendar, qué puede ejecutar y qué necesita siempre aprobación humana".

Supervisión continua

La evaluación no termina cuando el agente entra en producción

Otro punto que suele pasarse por alto es que un agente de IA no se valida una sola vez. Su comportamiento, precisión y relevancia deberían evaluarse de forma continua, igual que se monitorea la disponibilidad o el consumo de cualquier sistema crítico. Un agente que funcionaba correctamente al desplegarse puede comportarse distinto conforme cambian los datos, los procesos o el volumen de uso.

Evaluación del agente Continua

Comportamiento ● ● ●

Precisión ● ● ●

Relevancia ● ● ●

Antes de escalar

Antes de escalar de un agente a varios, responda esto

¿A qué información corporativa puede acceder el agente, y quién lo autorizó?

¿Qué sistemas y herramientas puede utilizar para ejecutar acciones?

¿Qué decisiones o acciones requieren siempre aprobación humana antes de ejecutarse?

¿Cómo se registran las consultas, decisiones y acciones del agente para poder auditarlas?

¿Con qué frecuencia se evalúa su precisión, relevancia y comportamiento una vez en operación?

Si alguna de estas preguntas no tiene una respuesta clara, ese es el punto de partida antes de multiplicar el número de agentes en operación.

C&A Systems

En C&A Systems diseñamos, desarrollamos e integramos agentes de IA empresariales sobre Microsoft Azure y Microsoft Foundry, incorporando identidad, permisos, trazabilidad, evaluación y supervisión humana desde la arquitectura. Contamos con más de 20 años de experiencia y más de 200 proyectos y contratos realizados, con experiencia Microsoft en nube, datos, aplicaciones e inteligencia artificial.