Block, la empresa de Jack Dorsey, presenta Dessa, un modelo de voz entrenado solo con habla humana que aún no es público

Block, la empresa de Jack Dorsey (la de Square y Cash App), presentó el viernes 23 de octubre Dessa, un modelo de voz que, según sus creadores, se ha entrenado desde cero solo con conversaciones humanas, sin texto ni modelos preentrenados. El equipo asegura que, hasta donde sabe, es la primera IA entrenada únicamente con habla con la que se puede mantener una conversación realista en directo.

Lo define como un modelo "speech-to-speech" (recibe voz y responde con voz) y "full-duplex" (escucha y habla a la vez, como una persona). Como aprendió de charlas reales, sabe cuándo interrumpir y cuándo intercalar expresiones como "yeah!" para mostrar que sigue la conversación; genera sus respuestas más rápido que el tiempo real y funciona en local en un MacBook Pro con chip M4 Max o en un equipo más potente. Según el equipo, aprendió el idioma con cientos de veces menos palabras de las que necesita un modelo de lenguaje basado en texto.

Block ha publicado en su web grabaciones en directo de personas hablando con Dessa. Dice que nadie guía al modelo, que decide qué decir, cuándo y cómo, con su propia voz y personalidad, y que los subtítulos se añadieron después. En una de ellas, Dessa conversa con GPT-Live-1, un modelo de voz de otra empresa (de OpenAI, según The Verge); Block aclara que su desarrollador no tiene relación con ella ni ha revisado Dessa. The Verge describe algunas de las conversaciones como algo torpes: en una grabación que compartió el responsable de Dessa, Ragavan Thurairatnam, el diálogo es mayormente natural, aunque al principio el modelo confunde a su interlocutor con un tal "Ronaldo".

Por ahora no está disponible para el público, y la página no da precio ni fecha de lanzamiento. El equipo ofrece acceso anticipado a un pequeño grupo de investigadores de seguridad de la IA para que busquen riesgos que no ha previsto.

Según el equipo, los sistemas de voz actuales pasan la voz a texto y pierden mucha información por el camino: no oyen cómo se siente la persona ni siguen el ritmo de una conversación. Da tres motivos para crear Dessa: la curiosidad, que personas e IA se entiendan mejor y la seguridad, porque una IA de voz que no capta la emoción podría no darse cuenta, por ejemplo, de que alguien sufre un dolor intenso.

Lo ha desarrollado un pequeño laboratorio de IA de Block que responde directamente ante Jack Dorsey, cofundador y presidente de la empresa, y que fundaron antiguos miembros de Dessa, una startup de aprendizaje profundo de Toronto. El equipo dice que crea modelos de aprendizaje profundo desde 2012 y modelos generativos de voz desde hace más de ocho años.