清华大学和北京面壁智能科技有限责任公司联培博士后工作站 曹群

北京面壁智能科技有限责任公司 郭洁昕，雷升涛

1  引言

具身智能体作为实现通用机器人目标的核心路径，本质上是一种集成了指令理解与物理操作能力的智能形态。其核心技术特征在于“物理化”与“环境耦合”，即智能体通过硬件载体（如四足机器人或六足运输平台）在真实世界中进行信息的实时攫取与动作执行。这种“感知-决策-行动”的循环结构，使得AI不再局限于被动的数据处理，而是进化为主动的交互实体。

回顾其演化史，具身智能经历了从早期符号主义的冷落到行为主义崛起的转折。1990年代的行为主义研究强调了环境反馈对智能生成的决定性作用，而随后的测度论与马尔可夫建模则为其奠定了数学根基。然而，长期的技术瓶颈在于如何让机器在非结构化环境中具备通用性。直至近年来，具备多模态处理能力的视觉语言模型（VLMs）涌现，为智能体注入了强大的“通才驱动力”。这种赋能主要体现在三个层面：一是依托零样本泛化实现精准的环境认知；二是利用逻辑推理将抽象宏观指令转化为具体的执行序列—长程规划；三是通过API调用或代码生成实现对硬件的精细操纵[1]。

针对目前学术界缺乏对此新兴方向系统性综述现状，本研究深入调研了具身智能体的最新动态，重点解构了任务规划与动作控制的协同机制，并评估了现有研究在应对复杂环境时的局限性，旨在为未来的具身智能系统开发提供战略性的前瞻分析。

2  多模态大模型的崛起

在具身智能体的多模态构建中，视觉-语言对齐技术扮演着至关重要的角色。技术演进始于ViT对视觉特征提取方式的革新—将离散图像块映射至低维流形空间。2023年， BLIP-2的出现标志着模态融合进入了“轻量化、高保真”阶段，其Q-Former机制通过交叉注意力机制，巧妙地将视觉语义嵌入到冻结的LLM语境中，具有代表性的视觉语言模型如表1所示。

表1 具有代表性的视觉语言模型

近两年，该领域的研究范式发生了显著迁移。 2024年的研究重点在于“感知的深度”，通过北大Pink等工作实现了对物理空间的微观解析，并探索了统一架构下的生成式对齐。2025年则开启了“具身行动”元年，研究重心显著向VLA（视觉-语言-动作）框架倾斜，如Qwen3-VL展现了模型介入物理闭环的能力。同时，算法层面也迎来了如RankCLIP等对CLIP硬对齐范式的底层革新。这些进展共同推动了具身智能体从静态语义匹配向动态决策执行的进化。

近年来，该领域的研究呈现出三条清晰且相辅相成的主线：交互方式的革新（从被动理解到主动遵循指令）、架构设计的统一（迈向通用多模态接口），以及技术生态的繁荣（开源与国产模型的突破性进展）。这三条主线共同驱动着VLM从“能看会说”的基础感知，向“能理解、会思考、可执行”的复杂智能体演进。下面将具体阐述在这三个方向上的代表性工作与核心进展。

（1）指令遵循与多模态助手的崛起： LLaVA与Flamingo

由微软与哥伦比亚大学联手打造的LLaVA开创了利用GPT-4自动构建“指令-图像”对的新范式。其核心逻辑在于：通过线性投影层将CLIP提取的视觉特征与文本嵌入进行拼接，从而驱动LLM执行端到端的指令跟随任务。从初始版本到升级版的LLaVA 1.5，模型通过引入更高分辨率的ViT与多层感知机投影，显著增强了感知精度[2]。与依赖单一图文对数据的模型不同， DeepMind提出的Flamingo强调了“图文交织”数据的价值。它利用感知重采样器与门控交叉注意力机制，将图像无缝嵌入到文本流中，这种上下文感知能力的提升使其性能增长了约17%[3]。

（2）通用接口与基准能力的演进：KOSMOS系列

KOSMOS-1将Transformer视为通用的多模态接口，实现了对文本、匹配图文及交织数据的统一表征训练。该模型不仅在感知任务中表现卓越，更在零样本学习中展现出深厚的潜力。随后的KOSMOS-2则进一步深耕“图文基准”与“实体指代”任务，赋予了模型精准的边界框定位及实体校准能力，使语义理解与空间定位达到了高度统一[4]。

（3）开源生态与国产模型的突破： MiniGPT4、 Qwen-VL与MiniCPM

在闭源模型GPT-4引发关注的同时，开源界推出了MiniGPT4。它借鉴了BLIP-2的分层思想，通过“大规模粗训+高质量精调”策略，克服了低质数据对语言模型性能的侵蚀。

国内研发的Qwen-VL系列同样代表了行业顶尖水准。Qwen-VL采用了位置敏感的自适应模块，通过单层交叉注意力机制实现视觉特征的高效对齐。进化后的Qwen2-VL进一步引入了动态分辨率机制与多模态旋转位置嵌入（mROPE），显著增强了对复杂长程数据的推理深度[5]。此外，面壁智能推出的MiniCPM系列则探索了轻量化路径[6]，实现了模型在边缘计算设备上的高效部署[7]。

3  从视觉语言模型到具身大模型

3.1   具身大模型：从语义感知向物理行为的跨越

具身智能体的核心在于构建一个能够统合环境感知、指令解析及自我状态评估的智能中枢。具身智能体作为多模态大模型的承载者，可以分为不同类别，包括：

机器人：如固定基座机械臂、四足机器人、人形机器人等。

自动驾驶系统：如特斯拉的自动驾驶技术，能够感知周围环境并作出决策。

虚拟智能体：如游戏NPC、社交机器人、虚拟偶像等。

以人形机器人为例（如图1所示），具身智能体中“大脑”与“小脑”的协同配合可以从分层架构与信号传递两个维度进行描述：

图1 人形机器人“大脑”与“小脑”协同配合

（1）分层决策架构

具身智能体模仿人类神经系统的分层处理方式来执行任务。大脑为高层认知层，作为系统的核心决策中枢，主要由大语言模型或视觉语言模型驱动。它负责处理高级抽象任务，涵盖对用户指令的解析、环境信息的深度感知以及长程任务的逻辑规划。

小脑作为底层控制层，接收来自“大脑”的抽象指令，负责具体的运动控制和动作生成。这一层级主要通过运动控制算法及反馈控制系统，将规划好的任务转化为可执行的底层动作指令。

（2）信号处理与协同流程

两者的配合遵循从“抽象规划”到“具体执行”的线性逻辑：

当用户下达复杂指令，如“帮我倒杯水”时， “大脑”首先利用强大的逻辑推理能力将其分解为一系列子任务步骤。随后，这些高级信号被传递至“小脑”等低级区域。目前主流的框架是在大模型后添加策略头。大脑输出的任务特征经过策略头处理后， 由小脑解算出具体的机器动作参数，如关节转角、移动速度等。

信号最终通过“身体”—机器人本体的传感器和执行器在物理环境中实施动作。这种分层设计减少了大模型直接估计动作策略的压力，使系统能够更流畅地应对复杂任务。

虽然视觉-语言模型在语义推理上表现卓越，但在生成底层执行策略方面存在天然短板。为此，具身大模型应运而生，成为连接数字智能与物理世界的桥梁。

其架构逻辑高度仿真人类神经系统：高级皮层负责战略规划，低级中枢处理任务具象化，最终通过执行器官输出物理位移。当前主流架构已从早期的“端到端动作估计”转向“骨干模型+策略头”的混合模式。该框架通过多模态编码器将视觉特征、文本指令与本体状态映射至统一表征空间，由策略头精准解算下一时刻的动作参数。

3.2   异构融合：长程规划与学习范式的演进

针对长跨度任务，研究界探索了具身大模型与多种学习范式的结合。

在具身大模型的框架下，为解决复杂指令的执行问题，研究者发展了分层策略：上层采用如启发式分解等方法，利用大语言模型（LLM）将抽象指令粒度化拆解为可执行的子任务序列，并引入强化学习中的价值函数来评估各子任务在当前环境状态下的可行性，从而确保规划的逻辑性与安全性；下层则聚焦于底层策略的革新，例如Q-Transformer通过将Transformer架构深度融入Q学习框架，并设计保守正则化项来优化时序差分（TD）误差的优化过程，显著提升了智能体从高维观测中学习稳健、高效动作策略的速度与稳定性。这两种技术路径共同构成了从高级任务理解到低级动作生成的连贯解决方案。

3.3   数据瓶颈与推理效率的攻坚策略

物理交互数据的稀缺性是制约具身智能发展的关键。研究者为此提出了多维度的解决方案：

（1）自主化数据生成。在有限的人工干预下，利用大模型驱动机器人集群在真实建筑中进行自主探索与样本采集，极大地扩充了行为数据集。

（2）计算效能优化： SARA-RT通过引入线性复杂度的自注意力机制，突破了实时推理的算力瓶颈。

（3）泛化性增强： RT-Trajectory利用RGB轨迹图作为提示信息，显著提升了智能体处理未知任务的鲁棒性。

3.4   分层控制逻辑：从高级宏观规划到低级微观操纵

人类解决复杂问题的智慧在于“分而治之”，这一逻辑同样适用于具身系统。高级任务规划：将“清理桌面”等高度抽象的指令解构为“定位物体”“路径规划”“精准抓取”等一系列子项。这不仅要求智能体具备零样本的场景感知，还需具备主动探索环境的能力。底层动作控制聚焦于物理反馈层面的精细操作。目前，针对机械臂的抓取、双足机器人的平衡步态以及灵巧手的复杂操作，研究者多采用强化学习与模仿学习相结合的方式，以定制化地适配不同形态的物理载体。

4  核心挑战与演进范式

具身智能的演进正处于从“数字认知”向“物理实践”跨越的关键节点。尽管多模态大模型的崛起为智能体注入了强大的灵魂，但其在复杂物理世界中的生存与进化仍受制于多重技术瓶颈。基于此，本文从评价准则、感知维度、逻辑编排及硬件落地等维度出发，系统性地梳理了制约具身智能发展的核心局限，并构建了如下通往通用具身智能的前瞻性演进路径。

（1）异构能力的统一评估框架

目前，具身智能的评估体系呈现碎片化特征，缺乏能涵盖三维空间感知、跨任务泛化及物理操作性能的通用标准化基准。现有的VIMABench或ALFWorld等平台往往侧重于单一维度的任务解析，且高度依赖仿真器。未来亟需开发一种高保真、多维度的全能力评估体系，以消除“Sim-to-Real”的鸿沟，实现对智能体在复杂现实环境下感知与决策能力的客观量化。

（2）数据模态采集与众包化策略

具身智能的高阶表现受限于高昂的机器人动作采集成本。传统的遥操作模式难以支撑海量训练需求。“跨界数据获取”正成为突破口：利用高质量虚拟世界中的人类行为序列进行知识迁移，或结合有限的人工干预进行自主探索，有望构建起低成本、规模化的行为指令数据集。

（3）从二维理解向三维时空感知的飞跃

与纯视觉模型不同，具身实体必须解析物理世界的三维拓扑结构。尽管点云等辅助数据已被引入，但提升视觉语言模型（VLM）的3D空间直觉仍是核心方向。通过训练具备空间几何理解能力的三维视觉大模型，能使智能体在低成本视觉方案下精准捕捉物体的深度、位姿及语义关联。

（4）因果逻辑驱动的任务编排

当前大模型的任务规划多源于统计学概率，缺乏对子任务间因果一致性的深刻锚定。针对“接杯水”等看似简单实则涉及复杂原子操作的任务，互联网文本语料存在严重的“常识空缺”。未来应侧重于通过视觉输入构建世界模型，使模型能够内化物理定律和运动规矩，从而在任务分解中引入因果约束而非简单的序列预测。

（5）边缘计算效率与算法轻量化

具身智能的实时性要求与大模型的计算能耗存在天然矛盾。虽然已有Phi系列等终端模型探索了参数压缩路径，但如何在保持高精度的前提下进行低功耗终端部署（如通过量化压缩或Transformer架构优化）仍是关键。这是实现具身智能体从实验室走向大规模商用的技术基石。

（6）自主反思与终身学习能力

赋予智能体从失败中汲取教训的闭环自进化能力是实现通用智能的标志。尽管提示工程和外部记忆机制提供了初步方案，但如何应对灾难性遗忘、实现增量式知识更新，仍需在算法层面进行深层次革新。智能体需在持续的物理交互中不断修正自身认知，构建动态增长的知识图谱。

5  总结

尽管大模型赋予了智能体更强的“大脑”，但真实物理世界的复杂性（如火星极端的地理环境）仍对模型的实时性、泛化能力及因果推理提出了挑战 。未来，构建具备“世界模型”认知的具身智能体、优化三维空间感知以及建立统一的评估基准将是持续创新的关键指引。

作者简介：

曹   群，博士，新加坡国立大学访问学者，清华大学计算机系和北京面壁智能科技有限责任公司联培博士后，专注于人工智能与智能控制领域的技术攻关与学术研究。作为国家及北京市自然科学基金项目骨干，成功将模型预测控制算法应用于快速实时控制系统，创新性地将自注意力机制融入PPO算法，提升训练效率并改进稀疏奖励处理方法。在强化学习与模型预测控制方向发表高水平论文10余篇。

郭洁昕，美国哥伦比亚大学硕士，现任面壁智能科技有限责任公司政府事务负责人，专注于人工智能产业与政策发展研究。先后参与5个国家级北京市重点研发项目，研究方向涵盖智能硬件、端侧模型、3D视觉等前沿技术方向。

雷升涛，清华大学计算机系硕士毕业，同时拥有北京大学光华管理学院工商管理硕士（MBA）学位，现任面壁智能联合创始人、首席运营官，全面统筹公司的产品与解决方案规划、商业化战略推进，并负责人力资源、法务及相关职能管理。他领导团队致力于推动高效端侧大模型在行业场景的落地应用，构建可持续的商业价值闭环，推动产业智能化升级。

参考文献：

[1] 白辰甲, 许华哲, 李学龙. 大模型驱动的具身智能: 发展与挑战[J]. 中国科学: 信息科学, 2024, 54 (9) : 2035 - 2082.

[2] Liu H, Li C, Wu Q, et al. Visual instruction tuning[J]. Advances in neural information processing systems, 2023, 36: 34892 - 34916.

[3] Alayrac J B, Donahue J, Luc P, et al. Flamingo: a visual language model for few-shot learning[J]. Advances in neural information processing systems, 2022, 35: 23716 - 23736.

[4] Xi Z, Chen W, Guo X, et al. The rise and potential of large language model based agents: A survey[J]. Science China Information Sciences, 2025, 68 (2) : 121101.

[5] Wang P, Bai S, Tan S, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution[J]. arXiv preprint arXiv: 2409.12191, 2024.

[6] Xiao C, Cai J, Zhao W, et al. Densing law of llms[J]. Nature Machine Intelligence, 2025 : 1 - 11.

[7] Yao Y, Yu T, Zhang A, et al. Minicpm-v: A gpt-4v level mllm on your phone[J]. arXiv preprint arXiv: 2408.01800, 2024.

摘自《自动化博览》2026年第一期暨《2026具身智能专刊》