El nuevo modelo de voz de Block suena inquietantemente humano

Jack Dorsey’s Block presentó Dessa, un nuevo modelo de voz de voz a voz full-duplex desarrollado por su laboratorio de investigación que se ejecuta localmente en hardware de consumo como una MacBook M4 Max o superior, entrenado completamente con voz humana usando una sola GPU NVIDIA. A diferencia de muchos sistemas de IA de voz existentes que convierten el habla en texto y pierden matices emocionales, Dessa está diseñado para hablar y escuchar simultáneamente y tiene la emoción integrada en el modelo, produciendo risas, pausas y llantos naturales. Block afirma que Dessa es el modelo de voz full-duplex más auténtico jamás creado, aunque no está claro si las emociones se controlan mediante etiquetas similares a ElevenLabs v4 o Fish Audio Drama 3. La compañía ha publicado ejemplos de conversaciones que muestran voces y expresiones emocionales variadas, y sostiene que la IA de voz actual a menudo ofrece una experiencia peor y potencialmente peligrosa al descartar información que el texto no puede transmitir. Dessa aún no está disponible públicamente; Block ha hecho un llamado a investigadores de seguridad para probarlo. El modelo podría impulsar más experiencias empresariales y de consumo a menor costo, aprovechando el uso existente de IA de voz de Square para pedidos.

(Fuente：TechCrunch)