kimmonismus· @kimmonismus · X·· 15 小时前精选AI 评分
NVIDIA 发布开源语音模型 Nemotron 3.5 Transcribe
NVIDIA 发布开源语音模型 Nemotron 3.5 Transcribe，可转写会议录音、标注说话人、翻译并回答音频问题。模型支持 40 种语言转写、英语与 31 种语言互译、最多 8 位说话人及最长 1 小时录音，说话人标签支持 13 种语言；可输入姓名和技术术语引导转写，音频问答以英语训练。
模型支持多语言转写、说话人标注、翻译和音频问答，参数规模与运行方式便于评估本地部署可行性。
NVIDIA 正在发布一款开放语音模型，能够转录会议内容、标注每句话由谁说出、进行翻译，并回答有关录音的问题：
Nemotron 3.5 Transcribe 支持：
- 支持 40 种语言的转录
- 支持英语与 31 种语言之间的互译
- 最多可识别 8 位说话者，并提供 13 种语言的说话者标签
- 最长可处理一小时的录音
你可以提供姓名和技术术语来引导转录，也可以就音频提出问题。音频问答功能以英语进行训练。
该模型约有 300 亿个参数，每个词元约有 40 亿个参数处于激活状态，可以在你自己的 NVIDIA GPU 上运行。
据 NVIDIA 的发布材料称，该模型在 Hugging Face 的英语 Open ASR 排行榜上位列开放权重模型第一，并在 VoiceArena 涵盖 14 个系统的说话者归属转录测试中领先。
该模型专为录制音频而设计。直播流式传输需使用另一个模型。
太酷了，很期待！
模型：huggingface.co/nvidia/NVIDIA…
演示：huggingface.co/spaces/nvidia…
博客：huggingface.co/blog/nvidia/n…
来源：kimmonismus · x.com