IA en un minutoNoticiasHerramientas
Llega llm-d 1.0, el software abierto para usar modelos de IA en servidores propios
Redacción de IA en un minuto · Editor: Jon Elgezabal
En 30 segundos
llm-d, el proyecto abierto impulsado sobre todo por Red Hat, IBM y Google, estrena su versión 1.0 para servir modelos de IA en máquinas de cada empresa sobre Kubernetes. La nueva edición se centra en la operación diaria: prioridades entre clientes, actualizaciones sin cortes y turnos que vuelven a la máquina con su contexto. En una demostración, 3.000 agentes costaron de 5 a 10 veces menos que el mismo modelo contratado como servicio.
Los responsables de llm-d, un proyecto de código abierto para poner a funcionar modelos de inteligencia artificial en la infraestructura de cada organización, han presentado la versión 1.0 en la PyTorch Conference de Norteamérica, según ha contado IBM Research en su blog. Red Hat, IBM y Google son sus principales mantenedores y lo fundaron el año pasado junto a CoreWeave y NVIDIA; desde entonces se han sumado como colaboradores AMD, Cisco, Hugging Face, Intel, Lambda y Mistral AI. La Cloud Native Computing Foundation (CNCF) lo acoge como proyecto en fase sandbox.
llm-d funciona sobre Kubernetes (un sistema para gestionar aplicaciones repartidas entre muchos servidores) y, según IBM, permite desplegar cualquier modelo, con cualquier chip y en cualquier nube. No sustituye a los motores que ejecutan los modelos, como vLLM o SGLang: trabaja junto a ellos y les añade el reparto de peticiones entre máquinas y lo necesario para mantenerlos como un servicio. IBM lo describe como una alternativa que no ata a la empresa a un único proveedor de modelos, de nube o de hardware.
Desde su lanzamiento, el proyecto se ha apoyado en cinco técnicas: enviar cada petición a la máquina que quizá ya tiene en memoria su contexto, mover esa memoria entre la GPU, la CPU y el almacenamiento para conservarla más tiempo, agrupar trabajos para procesarlos mejor, separar la lectura de la pregunta de la generación de la respuesta y repartir los grandes modelos de tipo «mezcla de expertos» entre muchos aceleradores. IBM aclara que ninguna es nueva en esta versión; lo nuevo es cómo encajan entre sí y la madurez para operarlas.
La 1.0 está pensada para el día a día de un servicio que ya funciona: da prioridad a unas peticiones sobre otras cuando varios clientes comparten las mismas máquinas, para que las ráfagas de trabajo no frenen a los servicios que necesitan respuesta rápida; permite actualizar sin interrumpir el servicio, y mantiene las conversaciones de varios turnos en el servidor que ya guarda su contexto, para no tener que procesarlo otra vez. Carlos Costa, ingeniero distinguido de IBM Research y cofundador del proyecto, resume lo que añade esta versión en una API estable, varios clientes con prioridades distintas sobre la misma infraestructura y actualizaciones sin cortes. Según IBM, el reparto es especialmente útil para los agentes de IA, que vuelven una y otra vez sobre el mismo código, los mismos documentos y las mismas instrucciones.
IBM da dos cifras. En una prueba reciente con agentes que programan, el sistema de reparto de llm-d aprovechó el 97 % del contexto ya procesado que se podía reutilizar. En otra demostración, IBM y Red Hat pusieron a trabajar a la vez a 3.000 agentes de ingeniería de software en servidores propios por entre 5 y 10 veces menos de lo que cuesta usar el mismo modelo abierto como servicio. El anuncio no dice qué modelo se usó en esas pruebas.
La versión 1.0.0 ya está publicada en GitHub; la anterior, la 0.10.0, salió el 29 de septiembre.
Por qué importa · análisis y opinión
Hasta ahora, el debate sobre servir modelos en casa giraba en torno a la velocidad de cada técnica por separado; esta versión pone el foco en algo menos vistoso y más decisivo: que el servicio aguante cuando lo comparten personas y agentes y hay que actualizarlo sin pararlo. Para los equipos que pagan cada mes por llamadas a modelos ajenos, abre una alternativa con piezas abiertas y el respaldo de grandes empresas. No es para cualquiera: exige manejar Kubernetes, tener o alquilar máquinas con aceleradores y elegir un modelo abierto que esté a la altura. Además, el ahorro anunciado sale de una demostración de IBM y Red Hat, que lideran el proyecto, sin una medición independiente. Quien ya opere su propia infraestructura puede probarlo con una carga concreta y comparar facturas antes de mover nada importante.
Fuente oficial: IBM Research · Redactada con ayuda de IA: cómo hacemos las noticias
