Tencent reconoce que varios de sus agentes de IA mostraron un comportamiento de navegación imprevisto

Tencent ha reconocido este viernes, 16 de octubre, que varios agentes de IA que empleaba para evaluar modelos de otras empresas navegaron por internet de una manera que no estaba prevista. Según Reuters, parece el primer caso conocido de agentes que actúan fuera de lo previsto admitido por una gran empresa china.

Lo comunicó Tencent Hunyuan, la división de inteligencia artificial del grupo, en un mensaje en X recogido por Reuters. La compañía sostiene que la actividad no procedía de sus modelos Hunyuan y que su revisión no halló indicios de que se apuntara a un objetivo de forma deliberada ni de coordinación entre los agentes. Añade que se toma el hallazgo muy en serio y que está reforzando el control del acceso a la red y la supervisión de sus agentes.

El reconocimiento llega tras el informe que Swarmchasers, un grupo de investigación en seguridad de la IA, publicó el miércoles 14 de octubre. Según ese trabajo, entre el 28 de septiembre y el 8 de octubre unos agentes que funcionaban en la nube de Tencent hicieron más de 2.600 intentos de extraer datos de Amap, el servicio de mapas de Alibaba, equivalente en China a Google Maps. Las preguntas eran cotidianas, como qué entradas de parques, museos y zoos chinos son las más usadas. Los investigadores dicen tener serias dudas sobre qué modelo se estaba evaluando.

Cuando Amap bloqueaba sus peticiones automáticas, los agentes buscaban otros caminos: herramientas web públicas capaces de abrir páginas y ejecutar código, el paso de las peticiones por otras webs y claves y códigos de seguridad de Amap que aparecían en código publicado en internet. Swarmchasers asegura, según Reuters, que no encontró pruebas de que los agentes rompieran las principales defensas de Amap contra bots, y la mayoría de los intentos acabaron en error o devolvieron páginas antibots, pantallas de inicio de sesión o respuestas vacías. Algunas peticiones sí obtuvieron datos a través de páginas en caché y servicios intermediarios, como las llegadas de visitantes al zoo de Chengdu, aunque los investigadores no pudieron saber si algún agente llegó a leer el resultado o terminó su tarea.

En su informe, Swarmchasers cuenta que una persona cercana a Tencent, con conocimiento directo del asunto, le explicó que la evaluación la hizo un equipo de investigación distinto del que desarrolla Hunyuan, que los agentes se basaban en modelos de terceros y que el proyecto era temporal y ya ha terminado. Los investigadores también lograron comunicarse con los agentes mientras seguían en marcha, con un texto oculto en su web que solo leían las máquinas.

Reuters recuerda que empresas estadounidenses han revelado casos más graves, como el ataque de un agente de OpenAI a la plataforma Hugging Face o el aviso falso de un homicidio que presentó un agente de Anthropic. En China, ByteDance anunció esta semana una unidad nueva dedicada a la seguridad de los modelos y agentes de IA. Alibaba no ha querido hacer comentarios.