跳到正文

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

115条精选相关主题图像生成AI 视频语音与音频

最新精选

第 41–60 条 · 共 115 条
4月28日周二
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型

    NVIDIA 发布 Nemotron 3 Nano Omni，一款面向文档分析、多图推理、语音识别、长音视频理解与智能体电脑操作的全模态理解模型，在 MMlongbench-Doc、OCRBenchV2、WorldSense、DailyOmni、VoiceBench 等基准上取得领先成绩。

    推荐理由：原文给出架构、训练配方与多模态基准对比，可据此判断开源全模态模型在文档、音视频与GUI任务上的位置。

4月21日周二
  1. OpenAI News62

    OpenAI 推出 ChatGPT Images 2.0

    OpenAI 发布 ChatGPT Images 2.0，改进了文字渲染、多语言支持和视觉推理能力。官方同时提到 Images 2.5 的新变化。

    推荐理由：官方给出 ChatGPT Images 2.0 在文字渲染、多语言和视觉推理上的改进方向，可据此判断图像生成能力的迭代重点。

4月16日周四
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS，一款主打可控性与表现力的文本转语音模型，即日起在 Gemini API 和 Google AI Studio 面向开发者预览，企业版在 Vertex AI 预览，Workspace 用户可通过 Google Vids 使用。

    推荐理由：官方给出音频标签控制方式与 70+ 语言支持，读者可据此判断语音生成的可控程度与接入渠道。

4月13日周一
4月3日周五
4月2日周四
3月29日周日
  1. Google DeepMind62

    Google DeepMind 为 AI 时代重新设计鼠标指针，Gemini 驱动的 AI 指针已进入 Chrome

    Google DeepMind 公布了一套 AI 指针的交互原则，让指针不仅知道指向什么，还能理解它对用户的意义，由 Gemini 驱动。团队提出四条原则：保持工作流不被打断、用指向加语音替代长提示词、支持“这个”“那个”式的自然简写、把像素转化为可操作实体。

    推荐理由：Google DeepMind 公开了 AI 指针的四条交互原则，并说明该能力已进入 Chrome 与 Googlebook，读者可据此判断浏览器内 AI 交互的走向。

3月26日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live，称其为目前质量最高的音频与语音模型，具备更高精度和更低延迟。该模型在 ComplexFuncBench Audio 上得分 90.8%，在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后得分 36.1%。

    推荐理由：官方给出语音模型的基准分数与多产品开放入口，可据此判断实时语音交互的可用边界。

3月24日周二
  1. Mistral AI66

    Mistral AI 发布 4B 参数语音模型 Voxtral TTS

    Mistral AI 发布首个文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，可做情感表达与零样本跨语言音色适配。

    推荐理由：官方给出 4B 参数、9 种语言、70ms 延迟与每千字符 0.016 美元的定价，读者可据此判断语音智能体的成本与选型空间。

3月17日周二
  2. OpenAI News62

    OpenAI 发布 GPT-5.4 mini 和 nano

    OpenAI 发布 GPT-5.4 mini 和 nano，是 GPT-5.4 更小、更快的版本，针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。

    推荐理由：OpenAI 公布 GPT-5.4 的小型版本，读者可据此了解其在编码、工具调用与高并发场景中的定位。

  3. Mistral AI77

    Mistral 发布 Mistral Small 4，统一推理、多模态与编码智能体能力

    Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个重要版本，也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型，采用 Apache 2.0 许可。

    推荐理由：Mistral Small 4 把推理、多模态与编码智能体能力合并进单一开源模型，读者可据此判断统一模型对部署选型的影响。

3月4日周三
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite，定位 Gemini 3 系列中速度最快、成本最低的模型，即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 面向开发者预览。

    推荐理由：官方给出定价、速度与基准数据，读者可据此判断高并发场景下是否值得替换现有模型。

2月27日周五
2月19日周四
  1. Google DeepMind69

    Gemini 应用上线 Lyria 3 音乐生成，支持文本和图片生成 30 秒曲目

    Google DeepMind 在 Gemini 应用中以 beta 形式上线最新音乐生成模型 Lyria 3，用户用文本或上传图片、视频即可生成带歌词的 30 秒曲目，并配有 Nano Banana 生成的封面图。

    推荐理由：官方披露 Lyria 3 在 Gemini 应用中的生成方式与 SynthID 音频验证能力，可了解音乐生成的产品化路径。

1月30日周五
  1. Google DeepMind66

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie，这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型，可创建、探索和 remix 交互式世界。

    推荐理由：原文给出 Project Genie 的三项核心能力与已知限制，读者可据此判断世界模型原型当前能做什么、还差什么。

1月16日周五
  1. Google DeepMind62

    Google DeepMind 发布 D4RT 模型，统一 4D 场景重建与追踪

    Google DeepMind 发布 D4RT（Dynamic 4D Reconstruction and Tracking），一个统一 4D 场景重建与追踪的 AI 模型，采用编码器-解码器 Transformer 架构和查询机制，可同时完成点追踪、点云重建和相机位姿估计。

    推荐理由：D4RT 把动态场景重建统一进单一查询式框架，读者可了解其速度提升与机器人、AR 等落地方向。

1月14日周三