物理 AI 论文资源库EtachGu/Awesome-Physical-AI

超赞物理AI
Awesome GitHub stars

本仓库提供了一份关于物理AI的学术论文和资源的精选列表——重点关注基础模型、视觉-语言-动作（VLA）模型、世界模型、具身AI以及相关研究与应用资源。

欢迎贡献！请随时提交拉取请求或通过电子邮件联系以添加论文！
如果您觉得本仓库有用，请考虑引用并给这个列表一个星标 ⭐。欢迎与他人分享！

目录

- 基础
- 视觉-语言骨干网络
- 视觉表示
- VLA架构
- 端到端VLA
- 模块化VLA
- 紧凑高效VLA
- 动作表示与策略解码
- 动作标记化与表示格式
- 自回归与离散解码
- 离散扩散VLA
- 连续扩散与流匹配策略
- 世界模型
- JEPA与潜在预测
- 生成式世界模型
- 具身世界模型
- 推理与规划
- 思维链与深思
- 错误检测与恢复
- 学习范式
- 模仿学习
- 强化学习与奖励设计
- 数据整理与合成
- 扩展与泛化
- 缩放定律
- 跨具身迁移
- 开放词汇泛化
- 部署
- 量化与压缩
- 实时控制
- 安全与对齐
- 终身学习
- 应用
- 人形机器人
- 操作
- 导航
- 仿真到现实迁移
- 综述
- 资源
- 数据集与基准
- 仿真平台
- 公司与项目
- 相关工作

基础
作为 Physical AI 系统基石的核心理念与表征模型。

视觉-语言骨干模型

对齐视觉与语言的基础 VLM，被广泛用作机器人技术的预训练骨干模型。

- CLIP：“Learning Transferable Visual Models From Natural Language Supervision”，ICML 2021。[论文] [代码]
- SigLIP：“Sigmoid Loss for Language Image Pre-Training”，ICCV 2023。[论文]
- PaLI-X：“PaLI-X: On Scaling up a Multilingual Vision and Language Model”，CVPR 2024。[论文]
- LLaVA：“Visual Instruction Tuning”，NeurIPS 2023。[论文] [项目]
- Prismatic VLMs：“Investigating the Design Space of Visually-Conditioned Language Models”，ICML 2024。[论文] [代码]

视觉表征

用于机器人状态估计的自监督编码器与密集感知模型。

- DINOv2：“Learning Robust Visual Features without Supervision”，arXiv, Apr 2023。[论文] [代码]
- SAM：“Segment Anything”，ICCV 2023。[论文] [项目]
- R3M：“A Universal Visual Representation for Robot Manipulation”，CoRL 2022。[论文] [代码]
- MVP：“Masked Visual Pre-training for Motor Control”，arXiv, Mar 2022。[论文] [项目]
- Grounding DINO：“Marrying DINO with Grounded Pre-Training for Open-Set Object Detection”，ECCV 2024。[论文] [代码]

VLA 架构

端到端 VLA

在统一架构中处理视觉、语言和动作的单体模型（通常以交错 token 的形式）。

- RT-1：“Robotics Transformer for Real-World Control at Scale”，RSS 2023。[论文] [项目]
- RT-2：“Vision-Language-Action Models Transfer Web Knowledge to Robotic Control”，CoRL 2023。[论文] [项目]
- OpenVLA：“An Open-Source Vision-Language-Action Model”，CoRL 2024。[论文] [项目] [代码]
- PaLM-E：“An Embodied Multimodal Language Model”，ICML 2023。[论文] [项目]
- VIMA：“使用多模态提示进行通用机器人操作”，ICML 2023。[论文] [项目]
- Gato：“通用智能体”，TMLR 2022。[论文]
- RoboFlamingo：“视觉-语言基础模型作为有效的机器人模仿者”，ICLR 2024。[论文]
- Magma：“多模态AI智能体的基础模型”，arXiv，2025年2月。[论文] [代码]
- RoboVLMs：“迈向通用机器人策略”，arXiv，2024年12月。[论文]
- π0.5 / π0.6：Physical Intelligence，2025。[论文] [博客] （另见：用于流匹配核心的连续策略）
- GR-3：ByteDance Seed，2025年7月。[论文]
- UniVLA：“统一视觉-语言-动作模型”，arXiv，2025年6月。[论文] [代码]
- SpatialVLA：“探索视觉-语言-动作模型的空间表示”，arXiv，2025年1月。[论文]
- GraspVLA：“在十亿级合成动作数据上预训练的抓取基础模型”，CoRL 2025。[论文]
- VLA-0：“以零修改构建最先进的VLA”，NVIDIA，2025。[论文]
- ThinkAct：“通过强化视觉潜在规划进行视觉-语言-动作推理”，NeurIPS 2025。[论文]
- OmniVLA：“具有统一多传感器感知的物理接地多模态VLA”，Microsoft，2025。[论文]
- RoboBrain：“用于机器人操作的统一大脑模型”，CVPR 2025。[论文]
- DexGraspVLA：“迈向通用灵巧抓取”，PsiBot，2025。[论文]
- Motus：“统一潜在动作世界模型”，arXiv，2024年12月。[论文]
- InternVLA-A1/M1：InternRobotics，2025-2026。[论文] [论文]
- FLOWER：“用于CALVIN基准的基于流的VLA”，arXiv，2025。
- EO-1：“EmbodiedOneVision：交错视觉-文本-动作预训练”，arXiv，2025年8月。[论文]
- LingBot-VLA：“一个务实的VLA基础模型”，Ant Group，2026年1月。[论文]

模块化VLA

将高层语义推理（VLM）与低层运动执行（专用策略）解耦。

- CogACT：“协同认知与行动”，arXiv，2024年11月。[论文]
- Gemini Robotics：“将 AI 带入物理世界”，arXiv，2025 年 3 月。[论文] （另见：思维链部分关于思考的内容）
- Helix：“用于通用人形控制的视觉-语言-动作模型”，arXiv，2025 年 4 月。
- SayCan：“做我能做的，而非我所说的”，CoRL 2022。[论文]
- Code as Policies：“用于具身控制的语言模型程序”，arXiv，2022 年 9 月。[论文]
- Inner Monologue：“通过语言模型规划进行具身推理”，CoRL 2022。[论文]
- HybridVLA：“协作式扩散与自回归”，arXiv，2025 年 3 月。[论文]
- OpenHelix：“开源双系统 VLA 模型”，arXiv，2025 年 5 月。[论文]
- OneTwoVLA：“具有自适应推理的统一 VLA”，arXiv，2025 年 5 月。[论文]
- DualVLA：“推理与动作的部分解耦”，arXiv，2025 年 11 月。[论文]

紧凑高效 VLA

面向边缘部署和快速推理的轻量级架构。

- TinyVLA：“迈向快速、数据高效的视觉-语言-动作模型”，arXiv，2025 年 4 月。[论文]
- SmolVLA：“一个小型视觉-语言-动作模型”，arXiv，2025 年 6 月。[论文] [代码]
- BitVLA：“1-bit 视觉-语言-动作模型”，arXiv，2025 年 6 月。[论文]
- MoLe-VLA：“通过层混合实现动态跳层”，arXiv，2025 年 3 月。[论文]
- NORA / NORA-1.5：“小型开源通用 VLA”，arXiv，2025 年。[论文] [论文]
- DynamicVLA：“用于动态物体操作的紧凑型 0.4B VLA”，arXiv，2026 年 1 月。[论文]

动作表示与策略解码

注意：本节经过拆分，以明确区分动作如何被格式化（表示）与策略如何生成动作（解码/架构）。

动作标记化与表示格式

将连续运动命令转换为结构化格式（离散标记、动作块或潜在编码）。

- FAST：“通过频率空间压缩实现高效动作标记化”，arXiv，2025 年 1 月。[论文]
- FASTer：“具有 RVQ 和频率 L1 损失的可学习动作分词器”，ICLR 2026 投稿。
- OmniSAT：“基于 B 样条的紧凑动作标记化”，ICLR 2026 投稿。
- ACT：“用于双臂操作的动作分块 Transformer”，RSS 2023。[论文] [代码]
- VQ-VLA：“扩展向量量化动作分词器”，ICCV 2025。[论文]
- Behavior Transformers：“Cloning k Modes with One Stone”，NeurIPS 2022。[论文]

自回归与离散解码

按顺序生成离散动作 token（下一 token 预测）的 VLA。

- 注：大多数端到端 VLA（RT-2、OpenVLA、UniVLA）默认属于这一类别。该子领域的关键创新包括：
- GR-1 / GR-2：“Generative Video-Language-Action Models”，ICLR 2024 / arXiv 2024。[论文] [论文]
- LAPA：“Latent Action Pretraining from Videos”，arXiv, Oct 2024。[论文]
- Actions as Language：“Fine-Tuning VLMs into VLAs Without Catastrophic Forgetting”，ICLR 2026 Submission。

离散扩散 VLA

使用离散扩散模型并行生成动作 token，相比 AR 加速推理。

- Discrete Diffusion VLA：“Bringing Discrete Diffusion to Action Decoding”，arXiv, Aug 2025。[论文]
- dVLA：“Diffusion VLA with Multimodal Chain-of-Thought”，ICLR 2026 Submission。
- DIVA：“Discrete Diffusion for Parallelized Action Generation”，ICLR 2026 Submission。
- Unified Diffusion VLA：“Joint Discrete Denoising for Frames and Actions”，ICLR 2026 Submission。
- LLaDA-VLA：“Vision Language Diffusion Action Models”，arXiv, Sep 2025。[论文]

连续扩散与流匹配策略

通过扩散或流匹配生成连续轨迹（而非离散 token），以实现高频、灵巧控制。

- π₀ (pi-zero)：“A Vision-Language-Action Flow Model”，arXiv, Oct 2024。[论文]
- Diffusion Policy：“Visuomotor Policy Learning via Action Diffusion”，RSS 2023。[论文] [代码]
- Octo：“An Open-Source Generalist Robot Policy”，RSS 2024。[论文]
- RDT-1B：“A Diffusion Foundation Model for Bimanual Manipulation”，arXiv, Oct 2024。[论文]
- DexVLA：“VLM with Plug-In Diffusion Expert”，arXiv, Feb 2025。[论文]
- Consistency Policy：“Accelerated Visuomotor Policies via Consistency Distillation”，RSS 2024。[论文]
- Dita：“Scaling Diffusion Transformer for Generalist Policy”，arXiv, Mar 2025。[论文]
- Streaming Flow Policy：“Simplifying diffusion/flow-matching policies”，CoRL 2025 Oral。[论文]
- ManiFlow：“General Robot Policy via Consistency Flow Training”，CoRL 2025。[论文]
- GPC：“流/扩散策略的测试时分布级组合”，arXiv，2025年10月。[论文]

世界模型

智能体心智中用于实现预测、规划和仿真的环境内部模型。（移至推理之前，以支持“先仿真后推理”的流程）

JEPA 与潜空间预测

预测抽象潜状态（而非像素），以实现高效的世界建模。

- “通往自主机器智能之路”，Meta AI，2022年6月。[论文]
- I-JEPA / V-JEPA：“联合嵌入预测架构”，CVPR 2023 / arXiv 2024。[论文] [论文]
- V-JEPA 2：“自监督视频模型实现理解、预测与规划”，Meta，2025年6月。[论文]

生成式世界模型

生成像素、视频或交互式3D环境。

- World Models：NeurIPS 2018。[论文]
- DreamerV3：“通过世界模型掌握多样领域”，arXiv，2023年1月。[论文]
- Genie / Genie 2：“生成式交互环境”，ICML 2024 / DeepMind 2024。[论文] [博客]
- Sora：“视频生成模型作为世界模拟器”，OpenAI，2024年2月。[博客]
- DIAMOND：“用于世界建模的扩散模型”，NeurIPS 2024。[论文]
- Cosmos-Predict2.5：“基于视频基础模型的世界仿真”，NVIDIA，2025年10月。[论文]

具身世界模型

专为机器人操作和物理推理定制的世界模型。

- Structured World Models：“从人类视频中学习结构化世界模型”，RSS 2023。[论文]
- WHALE：“面向具身决策的可泛化世界模型”，arXiv，2024年11月。[论文]
- UniSim：“学习交互式真实世界模拟器”，ICLR 2024。[论文]
- PointWorld：“为野外操作扩展3D世界模型”，arXiv，2026年1月。[论文]
- DreamDojo：“从大规模人类视频中学习通用机器人世界模型”，arXiv，2026年2月。[论文]

推理与规划

思维链与审慎推理

行动前的显式“思考”过程，包括价值引导搜索和空间推理。

- Hume：“在视觉-语言-动作模型中引入系统2思维”，arXiv，2025年5月。[论文]
- Embodied-CoT：“通过具身思维链推理实现机器人控制”，arXiv，2024年7月。[论文]
- ReAct：“在语言模型中协同推理与行动”，ICLR 2023。[论文]
- ReKep：“关系关键点约束的时空推理”，CoRL 2024。[论文]
- TraceVLA：“视觉轨迹提示增强时空感知”，arXiv，2024年12月。[论文]
- Cosmos-Reason1：“从物理常识到具身推理”，NVIDIA，2025年3月。[论文]
- IPR-1：“交互式物理推理器”，CVPR 2026。[论文]
- MEM：“面向长时程任务的多尺度具身记忆”，Physical Intel，2026年3月。[论文]
- InstructVLA：“指令微调：从理解到操作”，arXiv，2025年7月。[论文]

错误检测与恢复

实时故障检测与纠正。

- DoReMi：“检测并从计划-执行错位中恢复”，arXiv，2023年7月。[论文]
- Code-as-Monitor：“面向故障检测的约束感知可视化编程”，CVPR 2025。[论文]
- AHA：“检测并推理故障”，arXiv，2024年10月。

学习范式

模仿学习

行为克隆以及从演示（人类或机器人）中学习。

- CLIPort：“用于操作的是什么和在哪里通路”，CoRL 2021。[论文]
- MimicPlay：“通过观看人类玩耍进行长时程模仿学习”，CoRL 2023。[论文]
- RVT / RVT-2：“机器人视图变换器”，CoRL 2023 / RSS 2024。[论文] [论文]
- Perceiver-Actor：“用于操作的多任务变换器”，CoRL 2022。[论文]
- Phantom：“仅使用人类视频在无机器人情况下训练机器人”，arXiv，2025年3月。[论文]
- ZeroMimic：“从网络视频中蒸馏技能”，arXiv，2025年3月。[论文]
- DataMIL：“为模仿学习选择数据”，arXiv，2025年5月。[论文]

强化学习与奖励设计

通过试错优化策略，包括从语言模型自动生成奖励。（奖励设计已合并至此）

- CO-RFT：“分块离线强化学习微调”，arXiv，2026。
- FLaRe：“通过大规模RL微调实现精湛策略”，arXiv，2024年9月。[论文]
- RL4VLA：“RL能为VLA泛化带来什么？”，NeurIPS 2025。
- VLA-RL：“迈向具备可扩展强化学习的精湛操作”，arXiv，2025年5月。[论文]
- RoboMonkey：“扩展测试时采样与验证”，CoRL 2025。[论文]
- Embodied-R1：“强化具身推理”，arXiv，2025年8月。[论文]
- 用于VLA的残差强化学习：“通过残差强化学习实现自我改进”，ICLR 2026投稿。
- Text2Reward：“自动密集奖励函数生成”，arXiv，2023年9月。[论文] (奖励设计)
- Language to Rewards：“通过奖励实现机器人技能合成”，CoRL 2023。[论文] (奖励设计)

数据整理与合成

(新章节) 使用基础模型生成、增强和整理机器人数据集，以实现规模化。

- GenSim / GenSim2：“面向机器人学习的程序化任务生成”，arXiv，2023。[论文]
- RoboGen：“生成式自引导机器人智能体”，arXiv，2023年11月。[论文]
- AutoRT：“面向大规模编排的具身基础模型”，ICRA 2024。[论文]
- RE3SIM：“通过3D照片级真实到仿真生成高保真仿真数据”，arXiv，2025年2月。[论文]

规模化与泛化

缩放定律

支配模型/数据规模与性能之间关系的数学规律。

- “具身AI的神经缩放定律”，arXiv，2024年5月。[论文]
- “模仿学习中的数据缩放定律”，arXiv，2024年10月。[论文]
- EgoScale：“利用第一人称人类数据扩展灵巧操作”，arXiv，2026年2月。[论文]

跨具身迁移

单一策略在不同机器人形态之间泛化。

- RT-X：“Open X-Embodiment数据集与RT-X模型”，ICRA 2024。[论文]
- GENBOT-1K：“在约1000种机器人本体上训练”，arXiv，2025。
- Crossformer：“面向操作、导航、运动的统一策略”，CoRL 2024。[论文]
- HPT：“异构预训练Transformer”，NeurIPS 2024。[论文]
- X-VLA：“用于跨具身的软提示Transformer”，arXiv，2025年10月。[论文]
- HiMoE-VLA：“用于具身适配的层次化专家混合”，arXiv，2025年12月。[论文]
- Being-H0.5：“以人为中心的跨具身VLA”，arXiv，2026年1月。[论文]

开放词汇泛化

处理训练中未见的新视觉外观、物体和语义概念。
- MOO：“开放世界物体操作”，CoRL 2023。[论文]
- VoxPoser：“来自语言的可组合3D价值地图”，CoRL 2023。[论文]
- RoboPoint：“空间可供性预测”，CoRL 2024。[论文]
- CLIP-Fields：“弱监督语义场”，RSS 2023。[论文]
- VLMaps：“用于导航的视觉语言地图”，ICRA 2023。[论文]

部署

量化与压缩

面向边缘机器人的低位量化和模型剪枝。

- BitVLA：“1-bit视觉-语言-动作模型”，arXiv，2025。
- DeeR-VLA：“面向高效机器人执行的动态推理”，arXiv，2024年11月。[论文]
- AutoQVLA：“面向OpenVLA的通道感知量化”，ICLR 2026投稿。
- HyperVLA：“面向高效推理的超网络”，ICLR 2026投稿。
- SpecPrune-VLA：“动作感知的自推测剪枝”，arXiv，2025年9月。[论文]

实时控制

弥合高延迟AI推理与低延迟物理控制回路之间的差距。

- Real-Time Chunking：“面向机器人控制的异步执行”，Physical Intel，2025。[论文]
- A2C2：“异步动作块校正”，arXiv，2025。

安全与对齐

护栏、伦理以及对对抗性输入的鲁棒性。

- Robot Constitution：“数据驱动的自然语言规则”，Gemini Robotics，2025。[论文]
- RoboPAIR：“越狱LLM控制的机器人”，ICRA 2025。[论文]
- RoboGuard：“面向LLM驱动机器人的安全护栏”，arXiv，2025年4月。
- “机器人实施恶性刻板印象”，FAccT 2022。[论文]
- “强调在机器人技术中部署VLM的安全隐患”，arXiv，2024年2月。[论文]

终身学习

持续适应和技能积累，且不发生灾难性遗忘。

- Voyager：“基于LLM的开放式具身智能体”，arXiv，2023年5月。[论文]
- RoboCat：“自我改进的通用智能体”，arXiv，2023年6月。[论文]
- JARVIS-1：“基于记忆增强LLM的开放世界多任务智能体”，arXiv，2023年11月。[论文]
- LOTUS：“通过无监督技能发现进行持续模仿学习”，arXiv，2024年12月。

应用

人形机器人

- GR00T N1：“面向人形机器人的开放基础模型”，NVIDIA，2025年3月。[论文]
- HumanPlus：“人形机器人影子跟随与人类模仿”，arXiv，2024年6月。[论文]
- OmniH2O：“通用人到人形机器人遥操作”，CoRL 2024。[论文]
- WholeBodyVLA：“用于移动操作的统一潜在VLA”，ICLR 2026。[论文]

操作

- Manipulate-Anything：“使用VLM自动化真实世界机器人”，CoRL 2024。[论文]
- A3VLM：“可操作的关节感知视觉语言模型”，CoRL 2024。[论文]
- LaN-Grasp：“语言驱动的抓取检测”，CVPR 2024。[论文]

导航

- LM-Nav：“使用大型预训练模型的机器人导航”，CoRL 2022。[论文]
- NaVILA：“用于导航的腿式机器人VLA”，arXiv，2024年12月。[论文]
- NaVid：“用于视觉与语言导航的基于视频的VLM”，RSS 2024。[论文]
- CoW：“轮子上的CLIP：零样本物体导航”，ICRA 2023。[论文]
- WMNav：“将VLM集成到世界模型中以用于导航”，arXiv，2025年3月。[论文]
- InternNav：“用于VLN的双系统基础模型”，arXiv，2025年12月。[论文]
- OmniVLA-Nav：“用于机器人导航的全模态VLA”，arXiv，2025年9月。[论文]

Sim-to-Real迁移

弥合仿真训练与真实世界部署之间的差距。

- RE3SIM：“高保真Real-to-Sim数据生成”，arXiv，2025年2月。[论文]
- Real2Render2Real：“无需动力学仿真扩展机器人数据”，arXiv，2025年5月。[论文]
- RSR Loop：“基于可微仿真的Real-Sim-Real循环”，arXiv，2025年3月。[论文]
- “用于基于视觉的灵巧操作的Sim-to-Real强化学习”，arXiv，2025年2月。[论文]

综述

- 机器人中的基础模型：IJRR 2025。[论文]
- VLA解剖综述：“从模块到里程碑”，arXiv，2025年12月。[论文]
- 纯VLA综述：“综合分类体系”，arXiv，2025年9月。[论文]
- 具身AI的世界模型：arXiv，2025年10月。[论文]
- 扩散策略综述：TechRxiv 2025。[论文]
- 动作分词综述：“VLA综述：动作分词视角”，arXiv，2025年7月。[论文]
- VLA后训练：“后训练与人类运动学习”，arXiv，2025年6月。[论文]
- 具身智能安全：arXiv 2026。[论文]

资源

数据集与基准测试

| 数据集 | 规模 | 重点 |
|---------|-------|-------|
| Open X-Embodiment | 100万+ 条轨迹 | 跨具身 |
| DROID | 76K 条轨迹 | 野外操作 |
| BridgeData V2 | 多任务 | 少样本迁移 |
| LIBERO | 130 个任务 | 终身学习 |
| SIMPLER | 仿真到现实 | 策略评估 |
| CALVIN | 长时程 | 语言条件 |
| RLBench | 100 个任务 | 操作基准测试 |
| RoboCasa | 大规模 | 家务任务 |
| VLABench | 长时程 | 推理基准测试 |
| RoboMIND | 多具身 | 智能基准测试 |
| EWMBench | 世界模型评估 | 场景/运动/语义 |
| ManipBench | VLM 评估 | 底层操作 |

仿真平台

| 平台 | 重点 |
|----------|-------|
| ManiSkill3 | GPU 并行机器人 |
| Genesis | 可微物理 |
| Isaac Lab / Isaac Sim | NVIDIA 机器人仿真 |
| OmniGibson | 高保真家庭仿真 |
| Habitat 2.0 | 导航与重排 |
| BEHAVIOR-1K | 1,000 项日常活动 |

公司 & 项目

| 公司 | 重点 |
|---------|-------|
| Physical Intelligence (π) | 通用机器人基础模型 |
| Google DeepMind | RT、Gemini Robotics、Genie |
| OpenAI | CLIP、GPT-4V、Sora |
| Meta AI (FAIR) | JEPA、DINOv2、SAM |
| World Labs | 空间智能与世界模型 |
| NVIDIA | GR00T、Isaac Sim、Cosmos |
| Hugging Face | LeRobot、SmolVLA |
| Covariant | 工业机器人 AI |
| Skild AI | 通用机器人大脑 |
| Figure AI / 1X / Tesla | 人形机器人 |

相关工作

- Awesome World Models
- Awesome-VLA-Robotics
- Awesome-Robotics-Foundation-Models
- Awesome-LLM-Robotics

引用

@misc{awesome-physical-ai,
title = {Awesome Physical AI},
author = {Evan},
journal = {GitHub repository},
url = {https://github.com/EtachGu/Awesome-Physical-AI},
year = {2026},
}