Google Research 的 S2Vec 如何学习城市建筑环境的通用嵌入向量
Google Research 推出自监督框架 S2Vec,将建筑环境栅格化为多层特征图像,用掩码自编码(MAE)学习通用嵌入向量,无需人工标注即可刻画任意地点的特征。在 US-wide 人口密度、收入中位数等社会经济指标的零样本地理外推任务上,S2Vec 通常是表现最好的单一模型,与图像嵌入做多模态融合后效果普遍优于任一单模态。在树木覆盖、海拔等环境任务上仍有明显改进空间。
Google Research 推出自监督框架 S2Vec,将建筑环境栅格化为多层特征图像,用掩码自编码(MAE)学习通用嵌入向量,无需人工标注即可刻画任意地点的特征。在 US-wide 人口密度、收入中位数等社会经济指标的零样本地理外推任务上,S2Vec 通常是表现最好的单一模型,与图像嵌入做多模态融合后效果普遍优于任一单模态。在树木覆盖、海拔等环境任务上仍有明显改进空间。
Google Research 在 The Check Up 活动上公布多项医疗 AI 进展:与 Fitbit 合作研究的 Personal Health Agent(PHA)在长期健康支持上优于单一任务应用,实验性 AI 系统识别出 25% 此前被漏诊的"interval cancers"。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项姊妹研究,评估 AI 乳腺筛查系统。
推荐理由:两项 Nature Cancer 研究给出了 AI 在 NHS 乳腺筛查中的前瞻部署数据与人工仲裁交互结果,可了解落地时的数据漂移与仲裁量问题。
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》,提出涵盖感知。
Mistral AI 推出 Forge,一个让企业基于专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。
推荐理由:原文给出了企业用自有数据训练前沿模型的分阶段能力与多架构支持,读者可据此判断自建模型的落地路径。
Mistral AI 以创始成员身份加入 NVIDIA Nemotron Coalition,双方计划联合开发前沿开源 AI 模型,结合 Mistral 的模型架构与全栈平台和 NVIDIA 的算力、模型开发工具及合成数据管线。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和自建 RAG 系统共 6 个 LLM 回答 67 道高温超导专家级问题,由国际专家小组按 6 项指标盲评打分。
伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法,可在特征、数据和模型组件归因中大规模识别关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约少 10 倍的消融次数达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等边际方法。
Google 宣布在 Flood Hub 上线城市山洪预报,借助新的 AI 方法可在城市地区提前最多 24 小时预测山洪风险。为弥补山洪缺乏地面实测数据的问题,Google 用 Groundsource 方法结合 Gemini 分析公开新闻报道,构建历史山洪事件数据集来训练和评估新模型。
推荐理由:Google 把城市山洪预警接入 Flood Hub,读者可了解其用 Gemini 从新闻中提取训练数据的思路与全球覆盖取舍。
Google 推出 Groundsource,一种用 Gemini 从非结构化全球新闻中提取灾害数据的可扩展方法,并开放首个城市山洪数据集,包含 260 万条记录、覆盖 150 多个国家、时间跨度从 2000 年至今。
推荐理由:原文给出了用 Gemini 从新闻抽取灾害数据的方法与验证结果,读者可据此判断 LLM 构建历史基准的可行边界。
Hugging Face 对 16 个围绕异步训练构建的开源 RL 库做了横评,按编排原语、rollout buffer 设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持与分布式训练后端 7 个维度对比。
Hugging Face 在 Hub 上推出 Storage Buckets,一种非版本化的 S3 式可变对象存储,用于存放 checkpoint、优化器状态、处理后的分片和 Agent traces 等中间产物。
推荐理由:原文给出 Buckets 的创建、同步与 Python 调用方式,读者可据此判断它能否替代现有中间产物存储流程。
LeRobot v0.5.0 发布,自 v0.4.0 以来合并 200 多个 PR、新增 50 多位贡献者,首次加入 Unitree G1 人形机器人支持,涵盖运动、操作、遥操作与全身控制。
推荐理由:从人形机器人支持到策略库与数据管线提速,读者可据此判断开源机器人栈当前覆盖的硬件与训练能力。
Hugging Face 博客详解源自 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分),通过注意力头并行与 all-to-all 通信把长序列切分到多 GPU,突破单卡显存限制。
Google Research 发布 WAXAL,一个覆盖 27 种撒哈拉以南非洲语言、服务超 1 亿使用者的开放语音数据集,采用 CC-BY-4.0 许可。该数据集包含约 1,846 小时 ASR 转写语音和超 565 小时 TTS 高保真录音,由非洲学术与社区机构主导采集,2021 年起历时多年完成。
Google Research 提出"贝叶斯教学"方法,通过监督微调让 LLM 模仿贝叶斯助手在航班推荐任务中的预测,从而学会概率推理。在五轮模拟用户交互中,未经训练的 LLM 表现明显逊于最优贝叶斯助手,且往往在单次交互后性能就停滞,难以随新信息持续更新;而贝叶斯教学不仅提升该任务表现,还能泛化到其他任务。
Photoroom 发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元算力预算在 24 小时内完成一次文生图模型训练,并开源训练代码与实验框架。
推荐理由:Photoroom 公开了 24 小时训练文生图模型的完整配方与代码,读者可据此复现并调整各组件。
Hugging Face 发文介绍 transformers 库如何为 MoE 模型重构支持,涵盖权重加载、专家后端、专家并行与训练四部分。权重加载引入 WeightConverter 与惰性物化,将 256 个独立专家张量打包为单个连续张量;在 Qwen1.5-110B-Chat 上,v5 异步加载耗时 20.71s,v4 为 66.24s,张量并行下为 10.1s。
Hugging Face 发布教程,介绍如何通过 Claude Code、Codex 等编码智能体,用 Unsloth 和 Hugging Face Jobs 微调 LiquidAI/LFM2.5-1.2B-Instruct。
推荐理由:原文给出用编码智能体提交微调任务的完整命令与技能安装步骤,读者可据此复现小模型训练流程。
Google Research 提出 MapTrace,用 Gemini 2.5 Pro 与 Imagen-4 构建全自动合成数据管线,生成 200 万条带路径标注的地图问答对并已开源。该管线经地图生成、Mask Critic 筛选可通行区域、构建像素图、Dijkstra 求最短路加 Path Critic 校验四步,在 23,000 条路径上微调多个 MLLM 以提升细粒度空间推理能力。
OpenAI 发布开源工具包 GABRIEL,借助 GPT 把定性文本和图像转化为定量数据,帮助社会科学家大规模分析研究。该工具面向社会科学研究场景,可扩展处理规模。
Google Research 与 Google DeepMind 发现,主要用鸟类等陆生动物音频训练的 Perch 2.0 生物声学基础模型,在未接触任何水下音频的情况下,仍能作为嵌入模型有效迁移到海洋任务,用于区分须鲸物种和虎鲸生态型。
Hugging Face 发布 SyGra 2.0.0 的 Studio,把合成数据生成搬到画布上,可视化编排流程并自动生成 SyGra 兼容的图配置与任务执行脚本。
OpenAI 的 GPT-5 与 Ginkgo Bioworks 的云端自动化结合组成自主实验室,通过闭环实验将无细胞蛋白质合成成本降低 40%。
Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件,把子集选择直接整合进模型训练,避免传统贪心算法带来的数量级训练开销。该方法在多个神经网络基准上取得 SOTA,并实现快速单遍贪心选择,可用于特征选择、嵌入维度调优和权重剪枝,兼顾效率、精度、可解释性与可扩展性。
Hugging Face 公布 PRX 文本到图像模型训练消融实验,以 1.2B 参数 PRX-1.2B 为基线,在 Flux VAE latent 空间、256×256 分辨率、全局 batch size 256 下训练 100k 步。
OpenAI 构建了一个内部 AI 数据智能体,结合 GPT-5、Codex 和记忆能力对海量数据集进行推理,可在数分钟内给出可靠洞察。
Google Research 发布论文《Towards a Science of Scaling Agent Systems》,对 180 种智能体配置做大规模对照评测,覆盖 Finance-Agent、BrowseComp-Plus、PlanCraft、Workbench 四个基准和 GPT、Gemini、Claude 三个模型家族。
推荐理由:通过 180 种智能体配置的对照实验,给出多智能体架构在并行与串行任务上的量化差异,可据此调整编排策略。
Google Research 提出 ATLAS 多语言缩放定律,基于 774 次训练运行、10M–8B 参数模型、400+ 语言数据,可指导模型规模与语言配比选择。其跨语言迁移矩阵显示,支持语言数翻倍时模型规模需增至 1.18 倍、数据量增至 1.66 倍。该研究将发表于 ICLR 2026。
中国开源模型社区已近乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,以在成本约束下兼顾能力与灵活部署。开源活动从文本扩展到多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Hugging Face 团队推出 Alyah(阿联酋方言中意为"北极星")基准,用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 个由阿联酋母语者手工收集的多选题样本,覆盖问候语、诗歌、 heritage 知识等七类内容。
Google 在 NeurIPS 2025 提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,在多样性与效用之间取得平衡。GIST 是首个为该权衡提供可证明保证的算法,保证所选子集价值至少为最优解的一半,并在图像分类等基准任务上超越现有方法。
Hugging Face 发布 AssetOpsBench,一个面向工业资产运维的智能体评测基准,包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式,覆盖 4 个智能体。
微软发布 Differential Transformer V2(DIFF V2),通过将查询头数翻倍、保持 KV 头数不变,使解码速度与标准 Transformer 持平,且无需自定义注意力 kernel。
Google Research 提出一种基于时序卷积网络(TCN)的多头深度学习模型,仅用单只 Pixel Watch 的 IMU 信号(50 Hz 三轴加速度计与陀螺仪)加用户身高,即可直接估算步速、步长、摆动时间、支撑时间和双脚支撑时间等步态指标。
Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并同步推出医疗听写语音识别模型 MedASR。
推荐理由:原文给出 MedGemma 1.5 与 MedASR 的基准提升和开放下载入口,读者可据此判断医疗多模态模型的可用边界。
Google Research 在 Science Advances 发表论文,介绍 NeuralGCM 直接使用 2001 至 2018 年 NASA 卫星降水观测训练其机器学习部分,而非依赖再分析数据。
推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报与数十年气候模拟中对比 ECMWF 等模型的误差变化值得关注。
Berkeley AI Research 提出一种基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,预测系统性能。该方法在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证有效,优化后的设计达到端到端方法水平,且内存和计算需求更低、无需任务专用解码器。相关成果发表于 NeurIPS 2025 论文。
Hugging Face 发布 Falcon-H1-Arabic 阿拉伯语模型家族,含 3B、7B、34B 三个规模,采用 Mamba 与 Transformer 注意力并行的 Falcon-H1 混合架构。
Transformers v5 重新设计了 tokenizer 的工作方式,将 tokenizer 架构与训练好的词表分离,类似 PyTorch 把网络结构与学习到的权重分开。新设计带来更清晰的内部结构、干净的类层级和单一快速后端,让 tokenizer 可检查、可定制、可从零训练。