El Gobierno de Canadá ha presentado una nueva guía para orientar a los departamentos y agencias federales en la adopción, evaluación y gobernanza responsable de los sistemas de Inteligencia Artificial (IA) agéntica. El documento representa uno de los primeros marcos institucionales diseñados específicamente para preparar a la administración pública ante la llegada de sistemas capaces de actuar de forma autónoma, planificar tareas complejas y ejecutar acciones con supervisión humana limitada.
La guía publicada por el Gobierno canadiense funciona como un marco regulatorio y operativo de transición destinado a ayudar a las instituciones públicas a aprovechar las ventajas de la automatización avanzada sin perder el control sobre los riesgos éticos, legales, de privacidad y seguridad asociados a esta nueva generación de IA. El objetivo es garantizar que estas tecnologías se mantengan alineadas con la Directiva sobre la Toma de Decisiones Automatizadas y con los marcos de gobernanza ya vigentes en el país.
IA generativa tradicional e IA agéntica
Uno de los puntos centrales del documento es la diferenciación entre la IA generativa tradicional y la denominada IA agéntica. Según la guía, la IA generativa convencional funciona de forma reactiva: responde a instrucciones específicas generando texto, código o imágenes, pero necesita que un ser humano decida posteriormente qué hacer con esos resultados.
¿Por qué la IA consume 1000% más energía que una búsqueda tradicional en Google?
La IA agéntica, en cambio, se define por su capacidad de actuar de forma proactiva e independiente para alcanzar objetivos complejos a largo plazo. Estos agentes pueden percibir su entorno, planificar flujos de trabajo de múltiples pasos, tomar decisiones delegadas, interactuar con otros agentes y utilizar herramientas externas con una supervisión humana reducida o intermitente.
Para ayudar a las instituciones públicas a evaluar el impacto y el grado de riesgo de estos sistemas, el Gobierno canadiense diseñó una taxonomía basada en cuatro niveles progresivos de autonomía. El ejemplo utilizado en el documento es la organización de reuniones de trabajo.
Varios niveles
En el Nivel 1, denominado Asistencial, el sistema únicamente identifica espacios libres en calendarios y sugiere horarios, mientras que el usuario humano sigue siendo responsable de seleccionar el momento y enviar las invitaciones. En el Nivel 2, Semiautónomo, el sistema ya propone horarios óptimos y redacta borradores de invitaciones, aunque sigue necesitando aprobación humana explícita antes de ejecutar cualquier acción.
El Nivel 3, Alta Autonomía, supone un salto significativo: el agente recibe una meta general y ejecuta automáticamente acciones como reservar espacios, enviar invitaciones y registrar todas sus operaciones, notificando al usuario humano una vez completado el proceso. Finalmente, el Nivel 4, Autonomía Adaptativa permite al sistema reaccionar en tiempo real ante cambios o conflictos, renegociando y reprogramando tareas de manera autónoma y escalando únicamente las excepciones complejas a un operador humano.
El Gobierno de Canadá considera que este tipo de agentes de IA puede ofrecer ventajas operativas importantes para modernizar la administración pública. Entre ellas destaca la automatización masiva de tareas repetitivas y complejas, la estandarización de procesos administrativos mediante plantillas digitales ejecutables y la liberación de tiempo para que los empleados públicos se concentren en funciones que requieren juicio crítico, empatía y atención directa a la ciudadanía.
Sesgo de automatización
Sin embargo, el documento también advierte sobre los riesgos asociados a la implementación de sistemas autónomos. Uno de los principales peligros identificados es la posibilidad de que pequeños errores lógicos o interpretaciones incorrectas desencadenen acciones masivas erróneas a gran velocidad, como modificaciones indebidas de registros críticos o envíos equivocados de comunicaciones oficiales antes de que un supervisor humano pueda intervenir.
Vulnerabilidades de seguridad
La guía también alerta sobre las vulnerabilidades de seguridad derivadas de los ataques de inyección de instrucciones o «prompt injection». Debido a que estos agentes procesan datos externos no estructurados, como correos electrónicos, formularios o archivos adjuntos, podrían ser manipulados mediante instrucciones maliciosas ocultas destinadas a forzar la evasión de restricciones de seguridad, el borrado de datos o la ejecución de acciones hostiles.
Otro de los riesgos identificados es el denominado «automation bias», o sesgo de automatización, que podría llevar al personal público a aceptar de forma acrítica las recomendaciones de los agentes de IA. El documento advierte que una dependencia excesiva de estos sistemas podría debilitar progresivamente las capacidades profesionales y reducir la habilidad institucional para detectar errores o sesgos.
En el plano jurídico, Canadá también reconoce que el uso de agentes autónomos en procesos que afectan derechos, beneficios o estatus legales de los ciudadanos plantea importantes desafíos de transparencia y rendición de cuentas. La guía sostiene que cualquier sistema que influya de manera decisiva en una resolución administrativa debe ser capaz de explicar de forma clara y accesible la lógica detrás de sus decisiones para no vulnerar los principios de justicia procedimental.
Autonomía Acotada
Para responder a estos desafíos, el documento introduce dos nuevos principios de gobernanza específicos para entornos de IA agéntica. El primero es la «Autonomía Acotada» (Bounded Autonomy), que establece límites preventivos a la independencia operativa de los agentes. Esto incluye restricciones explícitas sobre las bases de datos, APIs y herramientas que el sistema puede utilizar, así como indicadores visibles que permitan conocer en todo momento el nivel de permisos concedido al agente.
La guía también exige que cada agente desplegado tenga un responsable humano claramente identificado, quien asumirá la responsabilidad legal e institucional de las acciones realizadas por el sistema y por los posibles subagentes delegados automáticamente.
El segundo principio introducido es el de «Recuperabilidad» (Recoverability), centrado en la resiliencia y mitigación de daños. El Gobierno canadiense exige que todos los sistemas cuenten con mecanismos de parada inmediata o “kill switch”, capaces de pausar o revocar de forma instantánea las credenciales y operaciones de un agente autónomo.
Asimismo, se obliga a mantener registros de auditoría inmutables donde queden almacenadas cronológicamente todas las decisiones, herramientas utilizadas y acciones ejecutadas por la IA, en repositorios blindados a los que el propio agente no pueda acceder para modificar o eliminar información.
Adopción progresiva
La guía también establece arquitecturas de falla segura para aquellos procesos administrativos donde una acción automatizada pueda resultar irreversible o muy difícil de corregir. En esos casos, el sistema deberá bloquear la ejecución directa y generar vistas previas o colas de trabajo que requieran validación y firma digital humana antes de materializar cualquier acción definitiva.
Finalmente, el Gobierno canadiense plantea una adopción progresiva e iterativa de estas tecnologías. Las instituciones federales deberán comenzar con evaluaciones exhaustivas de impacto para identificar posibles afectaciones a la ciudadanía y desplegar inicialmente pilotos controlados con niveles bajos de autonomía. Solo tras verificar empíricamente la eficacia de los controles de seguridad y recuperación podrán avanzar hacia modelos de alta autonomía.
La publicación de esta guía sitúa a Canadá entre los primeros gobiernos que intentan desarrollar un marco institucional específico para regular la llegada de agentes de IA autónomos al sector público, en un contexto global donde la transición desde la IA generativa hacia sistemas capaces de ejecutar acciones reales comienza a acelerar los debates sobre gobernanza, responsabilidad y control tecnológico.