ElevenLabs· @ElevenLabs · X·· 2 小时前精选AI 评分
ElevenLabs 发布强制对齐模型 Cue
ElevenLabs 发布强制对齐模型 Cue，可将每个字符精确定位到音频时间轴，并在测试中超过所有受测开源对齐器。Cue 支持任意长度录音单次处理，在基准覆盖的 29 种语言中准确率均高于受测开源对齐器，单 GPU 对齐一小时音频约需半秒。该模型已用于 ElevenLabs 的全部 Speech to Text 转写，并通过 Forced Alignment API 单独提供。
Cue 将逐字时间定位、29 种语言准确率和单 GPU 约半秒处理一小时的性能放在一起，提供了字幕与配音对齐的技术参照。
ElevenLabs 研究团队最新成果：今天我们将详细介绍 Cue，这是我们推出的新型强制对齐模型。它能将每个字符更精准地定位到音频时间轴上，精度超过我们测试过的所有其他对齐工具。这意味着，正确的词语会在正确的时间出现。
强制对齐是将转录文本转换为时间戳的步骤。字幕正是靠它实现同步，配音台词靠它与说话者对应，而点击转录文本中的某个词时，也靠它跳转到说出该词的那一刻。大多数开源对齐工具都适用于短小、干净的音频片段，并且只能处理数量有限的语言。Cue 则是一个能够单次处理任意长度录音的模型。在真实世界的音频上，在我们基准测试涵盖的全部 29 种语言中，它的准确度都高于我们测试过的每一个开源对齐工具。在单块 GPU 上，它大约只需半秒就能对齐一小时的音频。
Cue 目前已为 ElevenLabs 上的每一项语音转文本转录提供支持，也可通过强制对齐 API 单独调用。
阅读完整文章：elevenlabs.io/blog/cue-align…
来源：ElevenLabs · x.com