NVIDIA 展示开发者如何用前沿 AI 智能体搭建 Omniverse 仿真应用
NVIDIA 官方博客展示了开发者如何用自然语言指令驱动 GPT-6 Astra 等前沿 AI 智能体,结合 Omniverse 库搭建仿真应用。
NVIDIA 官方博客展示了开发者如何用自然语言指令驱动 GPT-6 Astra 等前沿 AI 智能体,结合 Omniverse 库搭建仿真应用。
微软研究院对移动机器人操作负载做系统性测量,发现把物理AI推理从机器人端侧GPU卸载到边缘或云端GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软对移动操作机器人推理负载的系统性测量,给出端侧、边缘与云端算力取舍的量化依据。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持,支持 ROS Lyrical 和 Ubuntu 24.04。
推荐理由:Isaac ROS 5.0 把智能体工作流引入机器人开发,并给出可复用的技能与生态伙伴落地案例。
NVIDIA 推出 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层。
AWS 开源 SDK Strands Robots(Apache 2.0)演示了机器人数据闭环:用 Robot("so100") 录制 LeRobotDataset 并同步到 Hugging Face Storage Buckets。
Google DeepMind 发布 Gemini Robotics ER 2,作为机器人的高层大脑,支持视频理解、任务编排与多机器人协作,并可将动作执行交给底层 VLA 模型。
推荐理由:官方给出 Gemini Robotics ER 2 在进度分类、时刻定位与多机器人协作上的量化结果,可对照上一代判断具身推理模型的进展。
Google DeepMind 发布 Gemini Robotics 2,作为新一代机器人的智能层,解锁全身控制、灵巧操作和多机器人协作。
推荐理由:三款模型分别覆盖全身控制、具身推理与端侧部署,读者可据此判断机器人智能层的分工方式。
NVIDIA 推出 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式仿真器,由 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 流式推理库部署。
Hugging Face 博客发布开源低成本机器人操作数据采集系统 Grabette,用手持夹爪加双摄像头记录人类演示,自动转换为 LeRobot 数据集。Grabette 手持端 BOM 成本约 490€,配套的 Gripette 电动夹爪约 120€,硬件 CAD、采集服务、处理流水线和示例训练栈全部开源,处理流程可在浏览器中通过 HF Space 完成。
推荐理由:原文给出了手持夹爪采集机器人操作数据的完整开源方案与成本,读者可据此判断数据采集门槛的变化。
Mistral AI 发布首个具身导航模型 Robostral Navigate,这是一个 8B 模型,仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方案高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由:官方给出单目 RGB 相机在 R2R-CE 上的成绩与训练方法,可对比多传感器方案的成本与效果。
LeRobot v0.6.0 发布,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套开源工作流,读者可据此判断机器人学习闭环的落地路径。
伯克利人工智能研究实验室(BAIR)公布 2026 届博士毕业生名单,研究方向覆盖机器人、具身智能、大语言模型与推理、计算机视觉、生成模型、AI 安全、人机交互及 AI for Science 与医疗。毕业生去向包括 Physical Intelligence、OpenAI、Mistral AI、Amazon 等机构,以及 UCLA、芝加哥大学教职和自主创业。
Google DeepMind 推出为期三个月的 Robotics 加速器,从欧洲选出 15 家机器人初创公司,提供技术指导并开放其 AI 技术栈与 Gemini 机器人模型。入选公司覆盖物流、制造、医疗、气候与导航等领域,本周在伦敦启动。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型升级版,重点增强空间推理、多视角理解与任务成功检测。
推荐理由:官方给出与上一代及 Gemini 3.0 Flash 的对比,并说明仪表读数等新能力的实现路径。
LeRobot v0.5.0 发布,自 v0.4.0 以来合并 200 多个 PR、新增 50 多位贡献者,首次加入 Unitree G1 人形机器人支持,涵盖运动、操作、遥操作与全身控制。
推荐理由:从人形机器人支持到策略库与数据管线提速,读者可据此判断开源机器人栈当前覆盖的硬件与训练能力。
Hugging Face 博客发布 NXP 的实践指南,介绍如何在嵌入式机器人平台上部署 VLA 模型,涵盖数据集录制、ACT 与 SmolVLA 策略微调以及端侧优化。文中以“把茶包放进杯子”任务为例,录制 120 个 episode,将工作空间划分为 11 个 10×10 cm 起始位置簇,并建议约 20% 训练集为恢复 episode。NXP i.MX 95 SoC 在优化后实现了实时性能。
OpenAI 投资 Merge Labs,支持其研发连接生物智能与人工智能的新型脑机接口,目标是最大化人类能力、自主性与体验。
AMD、Hugging Face 与 Data Monsters 联合举办 AMD Open Robotics Hackathon,首站 12 月 5-7 日在东京,第二站 12 月 12-14 日在巴黎。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的端到端入门工作流,覆盖数据采集、训练与真机部署,可构建自主手术辅助机器人。
NVIDIA Isaac for Healthcare v0.4 发布基于 SO-ARM 的端到端入门工作流,覆盖数据采集、GR00T N1.5 后训练与真机部署,可构建自主手术助手机器人。
Hugging Face 发布 LeRobot v0.4.0,带来 LeRobotDataset v3.0 分块 episode 格式与流式加载,支持 OXE 级别(> 400GB)数据集,并提供 lerobot-edit-dataset CLI 用于删除、拆分、合并数据集。
推荐理由:原文列出数据集、仿真环境、多 GPU 训练与硬件插件等具体变化,读者可据此判断开源机器人学习工具链的可用性。
Hugging Face 发布 LeRobotDataset v3.0,将多个 episode 打包进单个文件,并用关系型元数据在 episode 级别检索信息,解决 v2 每文件单 episode 在百万级数据集下的文件系统瓶颈。
Hugging Face 收购 Pollen Robotics,并计划借此销售开源机器人。
Pollen Robotics 开源 pollen-vision 库,为机器人提供零样本视觉模型统一接口,首个版本聚焦 3D 物体检测,通过 OWL-ViT、Mobile SAM 和 RAM 组合输出物体在 3D 空间中的 (x, y, z) 坐标。
OpenAI 训练了一对神经网络,用类人机械手解开魔方。神经网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要高灵巧度的物理世界问题。
推荐理由:OpenAI 用仿真训练加 ADR 让机械手解魔方,可了解强化学习从虚拟任务走向物理操作的一条路径。
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI 训练出一只类人机械手,能以"前所未有的灵巧度"操控实体物体。该成果展示了机器人手部操作能力的新水平。
OpenAI 发布八个模拟机器人环境,以及 Hindsight Experience Replay 的 Baselines 实现,均出自其过去一年的研究。这些环境已用于训练可迁移到实体机器人的模型,OpenAI 同时发布了一组机器人研究议题。
OpenAI 的机器人技术让完全在仿真中训练、部署到实体机器人上的控制器,能在执行简单任务时对环境中未预料的变化做出反应,即从开环系统转为闭环系统。
OpenAI 创建了一套机器人系统,完全在模拟环境中训练,并部署到实体机器人上。该系统在看过一次任务演示后就能学会新任务。
推荐理由:OpenAI 展示了一套完全在模拟中训练、可直接部署到实体机器人的系统,读者可了解其单次示范学习新任务的能力。
OpenAI 称已打造出全球首个垃圾邮件检测 AI,完全在仿真环境中训练,并部署在实体机器人上。该 AI 将垃圾邮件检测从数字世界延伸到物理世界。