Mistral AI 发布 Mistral Medium 3，主打低成本企业部署
Mistral AI 发布 Mistral Medium 3，定位兼顾 SOTA 性能与更低成本，定价为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，便于判断企业自部署的性价比。
#多模态
#多模态
Mistral AI精选AI 评分
OpenAI NewsAI 评分 ChatGPT 的视觉与语音功能
ChatGPT 新增视觉与语音功能，帮助团队处理多模态输入并更自然地沟通。该功能让 ChatGPT 能够理解图像等视觉信息，并通过语音进行交互，从而支持多模态输入场景下的协作。
OpenAI News精选AI 评分 OpenAI 在 GPT-4o 中引入原生图像生成
OpenAI 发布 GPT-4o 的原生图像生成能力，官方称其在文字渲染和指令遵循方面更强。该发布还提到可了解 ChatGPT Images 2.5。
推荐理由：OpenAI 官方说明 GPT-4o 原生图像生成在文字渲染与指令遵循上的变化，可对照此前图像生成能力。
Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens 每秒，以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的基准对比、128k 上下文与单卡部署门槛，可据此判断小模型选型。
Hugging Face Blog精选AI 评分
Google 发布 Gemma 3：多模态、多语言、长上下文开源大模型
Google 发布 Gemma 3，官方将其定位为多模态、多语言、长上下文的开源大模型。Hugging Face 博客以“Welcome Gemma 3”为题介绍该模型，原文正文未抓取到，具体参数与能力细节暂缺。
Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错输出文本与图像，并已作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，可据此判断多模态文档解析在 RAG 流程中的落地成本。
Mistral 发布全新 le Chat 助手，上线 iOS 与 Android 并推出 Pro、Team 付费档
Mistral 发布全新 le Chat AI 助手，同步上线 iOS 和 Android，并推出 Pro 与 Team 订阅档，Enterprise 档进入私有预览。
推荐理由：官方一次性给出 le Chat 的移动端、Pro/Team 定价与 Flash Answers 等能力清单，可据此判断其与现有助手的差异。
OpenAI News精选AI 评分 OpenAI 视频生成模型 Sora 上线 sora.com
OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频，支持宽屏、竖屏和方形画幅。用户还能导入自有素材进行扩展、重混和融合，或完全由文本生成新内容。
推荐理由：OpenAI 公布 Sora 的开放入口与分辨率、时长、画幅等具体规格，读者可据此判断视频生成能力边界。
OpenAI News精选AI 评分 OpenAI 发布 Sora 系统卡
OpenAI 发布 Sora 系统卡，介绍其视频生成模型 Sora 支持文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 模型的经验构建，旨在为叙事和创意表达提供更丰富的工具。
推荐理由：OpenAI 官方系统卡披露 Sora 的输入输出形式与技术来源，可了解其能力边界与安全评估框架。
OpenAI NewsAI 评分 用 GPT-4o 视觉微调构建更智能的地图
OpenAI 展示了如何用 GPT-4o 的视觉微调能力构建更智能的地图。该能力面向视觉理解任务，可针对特定图像场景进行定制优化。
Mistral 为 le Chat 加入联网搜索、Canvas 与图像生成
Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 新功能，包括带引用的联网搜索、用于构思与就地编辑和导出的 Canvas、文档与图像理解、图像生成以及可共享的智能体。
推荐理由：官方列出 le Chat 新增能力与免费 beta 范围，读者可据此判断它和现有聊天助手的差异。
Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 1B 参数视觉编码器和 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：原文给出 Pixtral Large 的基准成绩与开放权重入口，读者可据此判断开源多模态模型与闭源前沿的差距。
OpenAI News精选AI 评分 OpenAI 为微调 API 引入视觉能力，GPT-4o 可用图像和文本微调
OpenAI 宣布微调 API 新增视觉能力，开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升其视觉表现。
推荐理由：OpenAI 把图像纳入微调 API，开发者可据此判断视觉任务的定制路径是否可行。
OpenAI NewsAI 评分 OpenAI 用新多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型，用于升级 Moderation API，可更准确地检测有害文本和图像。该模型面向开发者，帮助其构建更稳健的审核系统。
Llama 3.2 发布：可看图像并可在设备端运行
Hugging Face 博客宣布 Llama 3.2 发布，Llama 现在可以看图并能在用户设备上运行。
Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 和 Codestral 输入输出价格均下降 80%，Mistral Large 下降 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，读者可据此重估自建与调用成本。
Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用新训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，可在 128k token 上下文窗口中处理任意数量图片。
推荐理由：官方给出架构、基准与部署方式，读者可据此判断这个 12B 多模态模型在开源阵营中的位置。
OpenAI NewsAI 评分 OpenAI 与 The Met 合作唤醒沉睡的美
OpenAI 与 The Met 服装学院合作推出展览"Sleeping Beauties: Reawakening Fashion"，借助 AI 展现艺术与创意潜力。该展览旨在通过美与创造力丰富人们的生活。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型的能力、限制与安全评估情况。原文正文未能抓取，仅标题可用。
Hugging Face 联合 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强管线，可同时修改图像内容与文本标注。该管线支持随机插入、删除、交换及停用词替换等文本增强，并通过黑化与 inpaint 保持文字质量，用于 VLM 微调。代码已开源，可通过 pip install albumentations 使用。
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo，支持最高 128k tokens 上下文窗口，以 Apache 2.0 许可开放预训练基座和指令微调 checkpoint。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型给出 128k 上下文和 Apache 2.0 权重，读者可据此判断它能否直接替换现有 Mistral 7B 部署。
Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
TRL 库现已支持视觉语言模型（VLM）的 DPO 偏好优化
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并提供了完整训练教程。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 视觉语言模型仅有 0.2B 和 0.7B 两种小尺寸，却支持 captioning、目标检测、OCR 等任务，但官方发布的模型不含 VQA 能力。在 DocVQA 上微调 7 个 epoch 后，验证集 Levenshtein 相似度从 0 提升至 57.0，作者同时开源了 Colab notebook、GitHub 代码与演示 Space。
Prezi 如何借助 Hugging Face Hub 与专家支持计划加速多模态 ML 路线图
Prezi 加入 Hugging Face Expert Support Program，将更小更高效的开源模型整合进其 ML 工作流，用于 Prezi AI 演示文稿生成。
TII 发布 Falcon 2：11B 预训练语言模型与 VLM，训练数据超 5000B tokens、支持 11 种语言
TII 发布第二代 Falcon 2 模型，包括 11B 基础 LLM 和具备图像理解能力的 11B VLM，LLM 训练数据超过 5000B tokens，覆盖英语及另外十种语言。
推荐理由：TII 公布 Falcon 2 的 11B LLM 与 VLM 训练细节和评测数据，可对照同尺寸开源模型看性能与许可条件。
Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像和文本并输出文本。
推荐理由：原文给出 PaliGemma 的架构、三种 checkpoint 与微调代码，读者可据此判断它适合哪些视觉语言任务。
OpenAI News精选AI 评分 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可在音频、视觉和文本之间实时推理。
推荐理由：OpenAI 公布新旗舰模型 GPT-4o，可在音频、视觉与文本间实时推理，读者可据此了解其多模态能力定位。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4o，并向 ChatGPT 免费用户开放更多工具
OpenAI 发布最新旗舰模型 GPT-4o，同时为 ChatGPT 免费用户开放更多能力。官方称此次发布包含新模型以及面向免费用户的功能扩展，具体能力细节尚未在摘要中给出。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，并同步扩大 ChatGPT 免费用户可用能力范围。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4o，ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o，并让 ChatGPT 免费用户获得更多能力。该消息来自 OpenAI 的 Spring Update，具体能力范围与开放细节未在摘要中展开。
推荐理由：OpenAI 发布 GPT-4o，并让 ChatGPT 免费用户获得更多能力，可据此了解模型与免费策略的同步变化。
Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可。
推荐理由：8B 参数、Apache 2.0 开源，并给出与更大模型的基准对比和微调入口，便于判断多模态选型。
视觉语言模型（VLM）解析：开源模型、评测基准与 trl 微调指南
Hugging Face 发布视觉语言模型入门指南，梳理了 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B、KOSMOS-2 等开源 VLM 的模型规模、图像分辨率与 grounding 等能力，并介绍 Vision Arena、Open VLM Leaderboard 及 MMMU、MMBench 等评测基准。
Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型统一接口，首个版本聚焦 3D 物体检测，通过 OWL-ViT、Mobile SAM 和 RAM 组合输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例，改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码，并能在生成结果中嵌入与原截图相近的图像。
UCLA 发布 ConTextual：多模态模型在富文本场景中的图文联合推理评测基准
UCLA 研究者推出 ConTextual，一个面向 LMM 的上下文敏感富文本视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
Mistral 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出新旗舰模型的基准对比与 Azure 分发路径，可据此判断其 API 生态位置。
OpenAI News精选AI 评分 OpenAI 研究：视频生成模型可作为世界模拟器
OpenAI 探索在视频数据上大规模训练生成模型，将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像，并采用在视频和图像潜码时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果提示扩展视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由：OpenAI 公开了视频生成模型的训练思路，读者可了解扩散模型与 Transformer 如何被用于构建物理世界模拟器。
OpenAI News精选AI 评分 OpenAI 在 DevDay 发布新模型与开发者产品
OpenAI 在 DevDay 上发布新模型与开发者产品，包括支持 128K 上下文的 GPT-4 Turbo 且价格更低，以及新的 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API。
推荐理由：OpenAI 在 DevDay 集中公布模型与开发者产品更新，可据此了解其当时的产品线变化。
OpenAI News精选AI 评分 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 现在可以看、听和说。