给视频换配音不再对不上嘴:开源 InfiniteTalk,口型、点头、表情跟着音频走,时长不设上限

3次阅读
没有评论

视频换配音最难的从来不是声音,是嘴。换了台词口型对不上,观众一眼出戏;只改嘴唇的做法,又让头和身体僵在原来的节奏里,越看越怪。开源项目 InfiniteTalk 直接从这个问题下手:它把原视频和新音频一起输入,重新生成一段新视频。

这意味着不只是唇形对齐——头部动作、身体姿态、面部表情都会跟着新音频重新走。手里没有视频、只有一张照片也行,图片加音频就能直接生成说话视频,做数字人口播素材特别省事。

项目有论文打底(arXiv 2508.14033),GitHub 上已经攒了 8100 多 star、一千四百多个 fork。项目方自己对比上一代 MultiTalk,称手和身体的畸变明显减少。480P、720P 都支持,带 int8 量化、多卡推理和极低显存模式,Gradio 演示和 ComfyUI 都接好了,下载就能跑。

翻译配音、课程换音、短视频多语言版本,这类场景现在都可以直接套它做。地址:

https://github.com/MeiGen-AI/InfiniteTalk

正文完
 0