跳到正文

#多模态

今日 10 条
9月2日周三
  4. Google DeepMind74

    Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，通过原生视频工具动态搜索、扫描和检查目标片段，替代固定帧率的静态处理。

    推荐理由：官方给出 token 消耗、成本与准确率的具体变化，以及 API 开启方式，便于开发者评估长视频分析的成本结构。

9月1日周二
8月29日周六
8月28日周五
8月27日周四
8月26日周三
  1. Google Research28

    Google AgentHands：为 XR 空间智能体对话生成同步手势

    Google 在 CHI 2026 发布研究原型 AgentHands，让 XR 中的 AI 智能体在说话时同步做出与语音对齐的手势，把抽象指令变成空间中的实体演示。系统通过眼动与场景重建注册物体 3D 包围盒，由后端 LLM 在回复中内嵌 GestureEvent，再在头显端用词级时间戳让手势与 TTS 精确同步。12 人被试内研究对比纯语音基线，结果显示空间指代效果显著提升。

8月22日周六
8月18日周二
  1. Hugging Face Blog62

    Sentence Transformers v6.0 新增 MultiVectorEncoder，支持 ColBERT 式后期交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式后期交互检索，PyLate、Stanford-NLP ColBERT 检查点可直接加载，colpali-engine 的视觉文档检索模型也可通过同一 API 使用。

    推荐理由：原文给出多向量编码器的加载、打分与索引接入方式，读者可据此判断现有检索栈的改造量。

8月17日周一
8月13日周四
  3. Microsoft Research41

    MindTopo 揭示多模态大模型的空间推理能力短板

    微软研究院推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，且两者均远低于人类水平；失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，序列任务中仍不可靠。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型，率先落地 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T，首次将手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写。

    推荐理由：SL2T 把多语言手语翻译从实验室带进 Gboard 与 Live Transcribe，读者可了解其数据规模与端侧隐私设计。

  2. Google Research67

    Google Research 发布 AMIE（Video）：基于 Gemini 与 Project Astra 的实时视频问诊系统

    Google Research 发布 AMIE（Video），一个基于 Gemini 和 Project Astra 的实时视频问诊配置，可感知非语言临床线索、引导患者演员完成虚拟体格检查并实时进行诊断推理。

    推荐理由：原文给出AMIE（Video）的三智能体异步架构与随机对照评测结果，可了解实时视频问诊中视听感知与推理的分工方式。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言语音模型，开放权重支持 12 种语言

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型，参数量 364M，支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语等 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语。

    推荐理由：NVIDIA 公开 Magpie TTS 多语言模型的权重与延迟数据，读者可据此评估自建语音链路的可行性与成本。

8月10日周一
8月5日周三
8月4日周二
  2. Mistral AI62

    Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，将内容审核建模为策略自适应的二分类问答任务，在推理时接受自然语言策略，无需重新训练即可统一文本与图像安全评估。官方称其在文本安全上可匹敌 3B 的 3B 上下的 7 个……

    推荐理由：3B 开源安全分类器把内容审核改写为策略自适应问答，读者可据此判断小模型在审核场景的可用边界。

7月30日周四
  2. Google DeepMind49

    Google 在 Flow Music 发布 Lyria 3.5，提升音乐性、歌词、人声与创作控制

    Google DeepMind 在 Google Flow Music 中推出新一代音乐生成模型 Lyria 3.5，在音乐性、歌词和人声质量上均有明显提升。新版本可生成更复杂自然的旋律结构、提示词遵循度和结构感知更强的歌词，以及更具情感表现力和发音更准确的人声，并支持更便捷地控制输出节奏与时长。该模型即日起在 Flow Music 上线。

7月28日周二
7月27日周一
7月23日周四
7月21日周二
7月20日周一
7月16日周四
  1. Hugging Face Blog22

    新模型来了，优势依旧：DharmaOCR 在巴西葡萄牙语 OCR 上仍领先 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在葡萄牙语专项基准上以 0.925 分领先 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587，后两者分别落后约 13 分和 16 分以上。该模型经葡萄牙语监督微调加 DPO 两阶段训练，把全部参数集中于巴西葡萄牙语，在复杂文档提取质量和生成稳定性上形成结构性优势。文章认为，新架构并未改变这一领域专精带来的差距。

7月15日周三
  1. Hugging Face Blog82

    Thinking Machines 发布 1T 参数多模态开源模型 Inkling 及 Inkling-Small

    Thinking Machines Lab 在 Hugging Face 发布多模态开源模型 Inkling，采用 decoder-only MoE 架构，975B 总参数、41B 激活参数，支持图像、音频、文本输入和 1M 上下文，训练数据为 45 万亿 token。

    推荐理由：Inkling 以约 1T 参数、1M 上下文原生接收图像音频文本，并给出各推理引擎的部署配置与基准对比。

7月13日周一
7月7日周二