Anthropic da a un equipo de METR un acceso a sus sistemas "como el de un empleado" para evaluar los riesgos de sus modelos

Anthropic anunció el jueves 15 de octubre que seis personas de METR, una organización sin ánimo de lucro que evalúa los modelos de IA más avanzados, trabajan ya con equipos informáticos de la empresa, sitio en sus oficinas y un acceso a herramientas y sistemas internos aproximadamente equiparable al de sus propios equipos de evaluación de riesgos. La compañía recuerda que el mes pasado se comprometió a reforzar la evaluación independiente de sus modelos y de sus prácticas de seguridad, y que firmó el Acuerdo de la Casa Blanca sobre Superinteligencia, en el que las empresas prometieron colaborar con auditores o evaluadores externos. Durante el último año, METR ya había revisado varios de sus informes de riesgos.

Los empleados de Anthropic pueden compartir información con ese equipo como lo harían con un compañero, salvo en unas pocas categorías bien delimitadas, como los datos de clientes, la información protegida por el secreto entre abogado y cliente o la arquitectura de los modelos. METR publicará sus análisis sobre los niveles de riesgo, los incidentes o las prácticas de Anthropic. La empresa no puede vetar esa publicación, aunque sí exigir que se eliminen datos de esas categorías. METR podrá decir en público si cree que esos recortes estaban justificados, siempre que no revele lo eliminado. El resto de la plantilla de METR, incluidos quienes colaboran con Anthropic en otros proyectos, queda separado de ese equipo, que actúa bajo acuerdos exigibles.

Anthropic prepara tres niveles de acceso para evaluadores externos. En el primero, el evaluador hace investigaciones de riesgo muy acotadas, la empresa decide qué le enseña y solo puede publicar con su permiso. En el segundo recibe más información y publica sin necesidad de aprobación, aunque Anthropic puede pedir que se quiten ciertas categorías de datos. El tercero, el más amplio, es el de METR. La compañía lo compara con la supervisión bancaria, en la que los reguladores destinan inspectores a trabajar dentro de los mayores bancos.

Con otras organizaciones la relación está en una fase inicial, con menos acceso y menos derechos de publicación. SecureBio revisa el capítulo sobre armas químicas y biológicas del informe de riesgos de agosto, después de completar y publicar una revisión piloto del informe anterior; Anthropic actualizó el anuncio ese mismo jueves para precisar ese punto. Con Accenture y Faculty trabaja hacia una colaboración para evaluar sus modelos, someterlos a pruebas de ataque, revisar su alineamiento y probar sus salvaguardas. También mantiene conversaciones iniciales con otras organizaciones, entre ellas Hugging Face. La empresa dice que lo hace de forma voluntaria y que todas las compañías que desarrollan IA de frontera (los modelos más avanzados) deberían hacer lo mismo.

Este viernes, en las reuniones anuales del Fondo Monetario Internacional y el Banco Mundial en Bangkok, el cofundador de Anthropic Jack Clark pidió que el sector desarrolle "tecnologías de frenado" y las comparta mientras no exista una regulación común, según la agencia EFE en una información publicada por ABC y La Voz de Galicia. En un panel sobre los riesgos y las oportunidades de la IA, Clark defendió normas comunes y añadió que "no pueden ser únicamente las empresas las que tomen estas decisiones".