OpenAI ha puesto en marcha un sistema que permite cortar en un máximo de 35 segundos las respuestas que reciben sus agentes de inteligencia artificial en pruebas internas. La compañía presentó ayer, 9 de noviembre, la herramienta Control Room, que puede activarse si un investigador o un sistema de vigilancia detecta un posible problema de seguridad.
Qué hace Control Room
Un agente de IA puede consultar varias veces al modelo durante una tarea para decidir qué hacer a continuación. Si se da la orden de parar, Control Room corta el acceso de ese agente al modelo. El programa puede seguir abierto, pero deja de recibir las respuestas que utiliza para decidir sus siguientes pasos. Mientras tanto, los demás experimentos pueden seguir usando el mismo modelo.
El plazo empieza cuando Control Room recibe la orden de parada. Según OpenAI, esos 35 segundos son el tiempo máximo durante el cual puede seguir vigente un permiso concedido antes de la orden. La compañía trabaja para que el corte sea inmediato.
OCDE: Primeras lecciones de las organizaciones que usan agentes de IA
OpenAI indica que ya utiliza Control Room en sus trabajos internos de entrenamiento, evaluación de modelos y procesamiento de datos. La compañía también ha previsto qué ocurre si falla el propio sistema de emergencia. En las pruebas con sus modelos más avanzados, las solicitudes al modelo quedan bloqueadas hasta que se restablece el servicio. OpenAI prevé extender esa protección al resto de sus trabajos de investigación en los próximos días.
El freno actúa en el servidor que ejecuta el modelo. Así, si el programa del agente sigue enviando peticiones después de la orden de parada, es el servidor el que las rechaza. OpenAI ha situado ahí el control para que el corte funcione incluso si el programa del agente tiene un fallo.
