IA en un minutoNoticiasHerramientas
Los modelos de Hugging Face ya funcionan de forma nativa en las TPU de Google
Redacción de IA en un minuto · Editor: Jon Elgezabal
En 30 segundos
Hugging Face ha conseguido que Transformers, Diffusers y Kernels se ejecuten directamente sobre las TPU, los procesadores de IA de Google, gracias a TorchTPU. Basta con mandar el modelo a ese dispositivo para usarlo, sin la capa intermedia que antes hacía falta. La integración aún tiene fallos pendientes, y Google ha estrenado a la vez vLLM y SGLang sobre la misma base.
Hugging Face, la plataforma donde se comparten modelos de IA, anunció el martes 20 de octubre que sus principales librerías ya funcionan de forma nativa en las TPU de Google. Las TPU son los chips que Google lleva unos diez años diseñando para inteligencia artificial y con los que entrena y sirve sus propios modelos, entre ellos Gemini.
Lo hace posible TorchTPU, que incorpora las TPU como un dispositivo más en PyTorch (un entorno para programar modelos de IA) y se instala con una sola orden en una máquina virtual con TPU. Hasta ahora, usar PyTorch en estos chips obligaba a pasar por PyTorch/XLA, una capa intermedia que, según Hugging Face, funcionaba pero tenía sus rarezas: el código no siempre se ejecutaba cuando se esperaba, un cambio pequeño podía forzar a recompilar y costaba encontrar los fallos. La otra salida era aprender JAX, otro entorno de programación.
En la práctica, basta con elegir un modelo de Hugging Face y enviarlo a la TPU, sin tocar el resto del código. Funciona con Transformers, su librería principal de modelos; con Diffusers, la de imágenes y vídeo, que además puede repartir entre varios chips un modelo que no cabe en uno solo; y con Kernels, piezas de código optimizadas para acelerar los modelos. Con uno de esos kernels, en una TPU v6e-8 y con lotes de 64 peticiones, la generación de texto es 21,5 veces más rápida que con la implementación por defecto en el modelo Qwen3-30B-A3B, y 12,8 veces en Gemma 4 26B-A4B.
Todavía es un trabajo en marcha: de las pruebas de Transformers que se ejecutan en TPU, se supera el 96,5 %. Hugging Face ha comunicado 34 fallos al equipo de TorchTPU, de los que 19 ya están corregidos, y las pruebas también destaparon errores en la propia Transformers, que ya se han arreglado. Además, Optimum TPU, la herramienta que Hugging Face creó para usar sus modelos en estos chips, ya no hace falta para ejecutarlos con Transformers y Diffusers.
Google presentó ese mismo día versiones de vLLM y SGLang, dos programas para ejecutar modelos de IA y atender peticiones, que funcionan sobre TorchTPU. Según su blog para desarrolladores, la de vLLM se ha hecho con Inferact y la de SGLang con RadixArk; los dos ya funcionaban en TPU, pero a través de JAX. Las TPU se pueden usar en Google Cloud, desde un solo chip hasta grupos de miles.
Por qué importa · análisis y opinión
La barrera de las TPU nunca fue el chip, sino el software: crecieron pensadas para TensorFlow y JAX, y quien trabajaba en PyTorch tenía que adaptarse a una capa intermedia con sus propias reglas. Si las librerías de Hugging Face tratan ya esos chips como un dispositivo más, cambiar de proveedor de cálculo deja de obligar a rehacer el código, y Google gana un argumento para atraer a equipos que hasta ahora ni se planteaban sus chips. Para quien entrena o sirve modelos abiertos en la nube, la elección pasa a ser de precio y rendimiento con el mismo programa. Falta, eso sí, madurez: la propia Hugging Face admite que hay pruebas que no pasan y fallos abiertos. Antes de mover un servicio en producción, lo prudente es medir primero con el modelo concreto que se vaya a usar.
Fuente oficial: Hugging Face · Redactada con ayuda de IA: cómo hacemos las noticias
