Twitter 联合创始人 Jack Dorsey 掏出了秘密研发的原生语音模型 Dessa,可以直接在 M4 Max MacBook 上本地运行,轻松跑通像真人一样的全双工对话。
它干了一件很反骨的事:直接把今天大模型奉为圭臬的文字底座一脚踹开了。不靠文字、没有文本大模型,端到端纯靠人类音频训练,像婴儿一样学会了听和说。
现在的语音助手,不管 GPT-4o 还是市面上各种实时语音,本质上全是三段式的拼装车:把你的话转成文字,再丢给文字大模型推理,最后把文字合成语音吐给你。这种做法把人类语言里最宝贵的东西全阉割了——话里的冷笑、犹豫、叹气、哽咽和微妙的讽刺,在被翻译成冷冰冰的文本字符那一瞬间就已经死透了。
Dessa 走了一条完全相反的路:零文字、零文本预训练大模型,端到端纯靠人类真实的对话音频训练。它根本不知道世界上有文字这个东西,完全凭借听和说的声音信号直接建立认知。
正因为彻底绕开了文本中介,它展现出了当前所有语音 AI 都不具备的原生全双工能力:可以一边听一边说,你能随时插话打断,它会在聊到好笑的地方半句话就笑出声,也能精准接住你语气里的叹息。
官方给出的数据也很打脸算力流派:训练消耗的词量比大语言模型少了整整几百倍,整个训练只用了一台英伟达 GB200 NVL72,而且能在搭载 M4 Max 芯片的 Mac 笔记本上离线以超实时速度本地跑通。
当然激动之余也要保持一份冷静:这目前还只是 Block 内部实验室的小规模研究预览,市面上的 demo 也全由官方精心挑选。脱离了浩瀚的文本知识库,纯靠音频训练出来的模型在复杂多步长逻辑推理上到底能撑多久,还得打一个巨大的问号。
但它至少释放了一个很穿透的信号:当大家都在用几万张显卡把文本上下文无限拉长时,最底层的智能交互革命,已经在向人类最原始的听觉本能大反扑了。
项目地址: