Ir al contenido
por InfinyAI EN

IA en un minutoNoticiasSeguridad

Seguridad

OpenAI inicia evaluaciones de seguridad con cuatro organizaciones externas: Apollo Research, METR, Transluce y Goodfire

Redacción de IA en un minuto · Editor: Jon Elgezabal

En 30 segundos

OpenAI abre sus modelos internos a cuatro organizaciones independientes para que revisen su seguridad desde dentro. METR, Goodfire, Apollo Research y Transluce mirarán la alineación y las salvaguardas mientras los modelos se entrenan y se usan en la empresa. Transluce y OpenAI planean además una segunda revisión, de aproximadamente ocho semanas, a comienzos de 2027.

OpenAI anunció el lunes 16 de noviembre que ha firmado acuerdos con cuatro evaluadores independientes, Apollo Research, METR, Transluce y Goodfire, para la primera fase de lo que llama evaluaciones integradas. En ellas, expertos ajenos a la empresa reciben acceso profundo a modelos y sistemas internos del laboratorio: según lo que necesite cada evaluación, puntos de control de los modelos, código fuente, datos de entrenamiento y de evaluación, sistemas de monitorización, documentación técnica y conversaciones con los investigadores e ingenieros responsables.

Según la compañía, estas primeras evaluaciones se centran en la alineación (que los modelos se comporten como se espera) y en las salvaguardas (las protecciones de los modelos), durante el entrenamiento y el uso interno. Cada organización tiene un encargo distinto.

Apollo Research estudiará si los modelos podrían actuar a escondidas contra las intenciones de quienes los desarrollan y si las salvaguardas de OpenAI lo detectarían; lo hará en dos etapas y comprobando cuatro afirmaciones, entre ellas que el entrenamiento no ha premiado ese comportamiento. METR evaluará conductas desalineadas en la mayor ejecución de aprendizaje por refuerzo de OpenAI hasta la fecha, incluidos fallos que sus pruebas y monitores actuales hayan podido pasar por alto. Las dos partes han acordado además, de forma preliminar, otra evaluación más amplia de los sistemas de monitorización, pendiente de fijar su alcance.

Transluce examinará la calidad y la cobertura de las pruebas de alineación que OpenAI aplica después del entrenamiento, y ambas prevén otra evaluación de aproximadamente ocho semanas a principios de 2027, con acceso a más modelos. Goodfire integrará a investigadores de interpretabilidad que analizarán el funcionamiento interno de los modelos; sus hallazgos irán sobre todo a los investigadores de OpenAI, aunque también los publicará a medida que avance la colaboración.

OpenAI explica que el programa parte de trabajos anteriores con evaluadores externos, como una prueba piloto con METR sobre sus sistemas internos de monitorización. Los evaluadores que manejen información confidencial trabajarán en las oficinas de OpenAI y con dispositivos de la empresa, y el Comité de Seguridad y Protección del consejo de la OpenAI Foundation recibirá los informes sin tachaduras. Los evaluadores deciden qué publican, pero OpenAI se reserva el derecho a suprimir información confidencial y puede pedir que se retrase la publicación de hallazgos que supongan un riesgo hasta que se corrijan.

El anuncio no fija fechas para los primeros informes públicos.

Por qué importa · análisis y opinión

Hasta ahora, casi todo lo que se sabía de la seguridad de los grandes modelos lo contaban los propios laboratorios. Que evaluadores externos vean desde dentro puntos de control, datos y monitores cambia quién da fe de esas afirmaciones, aunque no del todo: OpenAI elige a los evaluadores, pacta con ellos el alcance y puede suprimir lo confidencial antes de que se publique. El valor real dependerá de lo que acaben contando esos informes y de si recogen fallos incómodos. Para las empresas que usan sus modelos, la pregunta práctica es si estas revisiones darán algún día garantías comparables entre proveedores. Mientras tanto, lo sensato es seguir pidiendo a cada uno su documentación de seguridad y no confundir un anuncio con una auditoría.

Fuente oficial: OpenAI · Redactada con ayuda de IA: cómo hacemos las noticias

La IA en tu correo, cada día o cada viernes

Las noticias que importan, cada una en un minuto. Con su fuente de cada una.

Elige uno o los dos:

Te apuntas y listo: el diario te llega cada noche y el semanal, los viernes por la mañana. Puedes darte de baja en cualquier envío.