跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 2 小时前AI 评分41

HeyGen 专业语音克隆聚焦语气细节

AI 导读

HeyGen 的 Professional Voice Clone 通过 30 分钟至 2 小时的录音训练,保留呼吸、停顿、笑声、口音及元音发音等细节,实现难以分辨的克隆效果。该产品认为语音克隆已超越音色匹配,重点转向词与词之间的表达,因为两小时录音包含数百次犹豫、恢复、半笑和语速变化,这些不规则细节是听众判断声音归属的关键。

正文 · AI 翻译

语音克隆已经超越了音色匹配的阶段。如今大部分工作都集中在词与词之间发生了什么。

@HeyGen 的专业语音克隆基于你录制的 30 分钟到 2 小时的音频进行训练,旨在保留呼吸、停顿、笑声和口音,以及你发元音的方式。

这个数据时长范围正是关键所在。一个人说话两小时,其中包含数百次犹豫、自我纠正、半途而笑和语速变化。一段简短的参考片段无法向模型展示你在长句前如何呼吸,也无法展示你在语速加快时口音会在哪里显现。

正是这些细微的不规则之处,让听众判断一个声音是否属于某个人。

HeyGen 表示,其成果是一个无人能分辨出与你本人不同的声音。

来源:rohanpaul_ai · x.com