Satya Nadella pide un freno de emergencia para los modelos de IA avanzada

Satya Nadella, consejero delegado de Microsoft, pidió el sábado 10 de octubre que los sistemas de IA avanzada lleven un "freno de emergencia": una persona autorizada debería poder siempre pausar o apagar un modelo en mitad de una tarea. Lo escribió en un artículo publicado en X con el título "Models as Insider Risks in the Super Intelligence Era" (los modelos como riesgo interno en la era de la superinteligencia).

Nadella parte de una diferencia con el software tradicional: en este se podía seguir cada comportamiento hasta una ruta concreta del código, mientras que hoy no es posible atribuir lo que hace un modelo a unos datos de entrenamiento o a una configuración de sus pesos. Aun así, escribe, estos sistemas se están desplegando con acceso a los datos más sensibles y con capacidad para ejecutar acciones críticas.

Su propuesta es tratar los modelos más avanzados, cerrados o de pesos abiertos, como un riesgo interno. No porque sean necesariamente maliciosos, explica, sino porque cualquier actor suficientemente capaz con acceso a sistemas importantes puede cometer errores o verse comprometido. Recuerda que las empresas llevan décadas afinando prácticas para ese tipo de actores: establecer su identidad, limitar sus privilegios, registrar su actividad y crear límites de contención.

Nadella sostiene que las garantías del proveedor de un modelo no eximen de responsabilidad a quien lo usa, y que los controles sobre aquello a lo que un modelo puede acceder y sobre lo que puede hacer tienen que estar fuera del propio modelo. Considera innegociable que el razonamiento del modelo sea transparente, pero advierte de que eso solo no basta, y de que usar unos modelos para vigilar a otros puede acabar en lo que llama cajas negras anidadas.

Enumera siete principios: no depender de un solo modelo para un resultado importante ni dejar que verifique su propio trabajo; que cada acción relevante deje un registro legible para las personas e imposible de manipular; probar de forma continua el sistema entero, también ante fallos y ataques; que cada organización pueda decidir por su cuenta a qué accede un modelo y qué puede hacer; una auditoría independiente del sistema que se audita; contención, y aviso a tiempo de los incidentes a los afectados, compartiendo qué falló para que aprenda todo el sector. En el de contención está la imagen del freno: "Debemos dar por hecho que un modelo está comprometido y contenerlo desde el principio", escribe, y añade que los modelos más avanzados exigirán tecnologías de contención más avanzadas, que habrá que estandarizar.

El texto es una opinión, no un anuncio: no menciona productos, fechas ni compromisos de Microsoft. Según CNBC, llega en medio de advertencias de directivos e investigadores del sector, entre ellos Bill Gates, cofundador de Microsoft; Dario Amodei, consejero delegado de Anthropic; Sam Altman, de OpenAI, y Elon Musk, de SpaceX, sobre protocolos de seguridad insuficientes y sobre una tecnología que, dicen, avanza demasiado rápido.