这篇技术报告由蚂蚁集团（Ant Group）旗帕的研究团队发布，论文编号为arXiv:2607.06403v1，发表于2026年7月7日，属于计算机科学与机器人学领域的预印本研究成果。有兴趣深入了解的读者可以通过上述编号在arXiv平台查询完整论文。
**机器人为什么总在实验室里表现得不错，一到真实环境就翻车？**
假设你花了几个月时间训练一只宠物犬，让它在你家客厅里稳稳地接住你扔出的球，它的表现几乎完美。然而，当你带它去朋友家，客厅布局稍有不同，陌生气味和噪音迎面而来，这只训练有素的狗突然变得手足无措，球掉在地上它也没去理。
当今机器人系统面临的核心困境与这只宠物犬如出一辙。无数机器人在设计精良的实验室场景里操作流畅，一旦被搬进真实工厂、家庭或商业场所，各种意料之外的状况便会接踵而至，机器人的动作开始变得笨拙甚至失败。蚂蚁集团的研究团队把这个问题称为"实验室与现实世界之间的鸿沟"，而他们发布的这份技术报告，正是他们试图填平这道鸿沟的一次系统性努力。
他们的成果名为**LingBot-VLA 2.0**，是前一代产品的重大升级版本。这套系统的核心是一类被称为"视觉-语言-动作模型"（Vision-Language-Action，简称VLA）的人工智能框架，通俗地说，就是让机器人能够同时"看懂"画面、"听懂"语言，并由此决定"做什么动作"。前一代VLA模型已经展现出相当的潜力，但面对现实世界中的种种复杂情况，它依然力不从心。LingBot-VLA 2.0从三个关键方向同时发力，试图让机器人真正走出实验室。
一、让机器人认识更多"身体"和更多场景：一场规模空前的"厨艺速成班"
要理解这一部分，可以借助一个关于厨师的比喻。一个只在某一家餐厅厨房里练过手的厨师，进到陌生厨房后往往会不适应——锅的大小不同，炉火的火力不同，备料的摆放位置也不同，原本熟悉的动作反而变得生疏。相反，一个走南闯北、在各种厨房里都积累过经验的大厨，适应能力就会强得多，因为他见过的"厨房模式"足够多，遇到新情况时更容易找到对应的经验。
LingBot-VLA 2.0的训练数据积累，正是遵循了这位大厨的成长逻辑。研究团队重新设计了整个数据处理流程，最终汇集了约**六万小时**的高质量预训练数据，规模之大在同类研究中颇为罕见。这六万小时由两大部分构成：其中约五万小时是机器人实际操作的轨迹录像，另外约一万小时则是人类在日常生活中进行手工操作的第一视角视频。
机器人数据这一端，研究团队从总量约九万小时的原始数据中精选出了五万小时，覆盖了**二十种不同的机器人形态**。这二十种机器人涵盖范围极广：从最基础的单臂机械臂（比如Franka和Flexiv Rizon 4），到双臂操作台（AgileX、ARX Lift2、UR7e），再到半人形机器人（AgiBot G1、Galbot G1、Astribot S1等），直到具备完整人形外观的机器人（Leju KUAVO 4 Pro、Unitree G1、Fourier GR-2、AgiBot A2等）。这些机器人在结构上差异巨大，有的只有一条手臂，有的配备灵巧的手指（而非简单的夹爪），有的还拥有可移动的底座和可转动的腰部与头部。如此多样的"身体形态"被纳入同一套模型的训练之中，正是为了让系统真正具备跨越不同机器人平台的泛化能力。
人类视频数据这一端，研究团队从约两万小时的候选视频中精选出约一万小时的高质量第一视角操作视频。这些视频记录了人类用双手进行各种精细操作的过程，是对机器人数据的有益补充，帮助模型学习更接近人类直觉的动作逻辑。
然而，数据规模大只是第一步，数据质量的把控才是真正的挑战。研究团队为两类数据分别设计了严格的筛选流程。对于机器人数据，他们计算了动作信号的"急动度"（jerk，即加速度的变化率，可以理解为动作是否流畅，是否有突然抖动），同时检查速度和加速度是否存在异常，还会过滤掉那些超过95%时间内机器人几乎纹丝不动的录像——因为那意味着几乎没有有效动作信息。此外，他们还要人工核对视频画面与机器人传感器记录的数据是否对齐，剔除存在画面模糊、遮挡严重或帧率不稳定的片段。
对于人类第一视角视频，筛选流程同样细致。团队首先用一个视觉语言模型对所有候选视频进行初步过滤，自动剔除非第一视角的录像、没有手部与物体交互的场景、画面中出现陌生人手部的片段（因为这会干扰"视角拥有者"的动作判断）。通过初筛后，剩余视频还要经历相机轨迹重建（SLAM技术，可以理解为让计算机根据视频画面反推出摄像头在空间中的移动路径）和手部姿态估计（计算出手在空间中的精确位置与朝向），最终生成规范化的手部运动轨迹，才算完成数据准备。不符合手部轨迹质量要求的视频——例如手部出现频率不足20%的时间，或者相机运动轨迹出现异常跳变的——都会被剔除。
将这二十种机器人的数据统一"说同一种语言"，是另一项工程挑战。每种机器人的"身体"结构不同，控制方式也各有差异，如果任由它们用各自的格式存储数据，模型将无法从中学习到跨机器人的通用规律。研究团队为此设计了一套**五十五维的标准化动作表示**，可以把它理解为一张通用的"动作登记表"：其中十四个格子记录手臂关节角度，十四个格子记录末端执行器（即手或夹爪的位置与朝向），两个格子记录夹爪开合，十二个格子记录灵巧手的各关节，四个格子记录腰部，两个格子记录头部转向，三个格子记录底座移动，另有四个格子作为预留。对于没有某个部件的机器人，对应格子就填零。这套统一格式，让所有机器人的数据都能装进同一个框架里参与训练。
数据还需要配上语言标注，才能让模型学会"听懂指令并执行"。研究团队使用Qwen3.6-27B这个大语言模型，对所有操作视频自动生成了分层次的语言说明：既有描述整体任务的宏观指令（例如"把花插进花瓶"），也有描述每个子步骤的细粒度指令（例如"抓取花茎"、"将花茎插入瓶口"）。每个子步骤还被分类到一个包含十五种基本动作的词汇表中，涵盖移动、倾倒、推动、拉取、旋转、打开、关闭、折叠、展开、擦拭、搅拌、切割、按压、连接、拆卸，以及辅助标签"过渡移动"和"保持静止"。这种双层语言标注，使模型能够在整体任务层面和具体动作层面都建立起语言与行为之间的映射。
二、让机器人控制更多身体部位：从"双手选手"变成"全身运动员"
回到厨师的比喻。如果一位厨师只会用双手，既不能弯腰从低处拿重物，也不能转身快速取到身后的调料，他在厨房里的效率就会大打折扣。真正出色的厨师，是整个身体都协调运作的——腰腿配合手臂，目光配合手势，移动步法配合操作节奏。
很多现有的机器人系统只关注双臂的控制，仿佛机器人只是一对会动的手臂，其余部分与任务无关。但在真实环境中，要完成许多实用任务，机器人需要协调运用头部转动、腰部扭转、底座移动，乃至灵巧的多指手——缺少任何一个环节，都可能导致任务失败。
LingBot-VLA 2.0将控制空间从"双臂"大幅扩展到了**全身各部位**。具体而言，系统现在能够同时处理手臂关节控制（六或七个自由度）、末端执行器位置与朝向控制（七个自由度，包含XYZ坐标和四元数旋转表示）、夹爪开合、灵巧手的十二个关节、四个自由度的腰部、两个自由度的头部，以及三个自由度的底座移动（前后左右和旋转）。一台搭载这套系统的全身人形机器人，其自由度总数可以达到三十个甚至更多——Fourier GR-2的总自由度达到三十二个，Astribot S1达到二十五个。
这种全身控制能力的扩展，不仅是技术规格上的数字增加，更是机器人能够完成的任务类型的质变。有了底座移动能力，机器人可以在较大空间范围内游走，执行需要改变位置的长流程任务；有了腰部自由度，机器人可以弯腰拾取低处的物品；有了头部控制，机器人可以主动调整观察角度；有了灵巧手，机器人可以处理需要抓持精度的细小物件。
三、让机器人学会"预见未来"：给机器人装上一颗能想象未来的大脑
这是LingBot-VLA 2.0最具创造性的一部分，也是最难用日常语言解释的技术核心。
还是继续厨师的比喻。一个经验丰富的厨师，不会只盯着眼前这一刻的锅里——他脑子里同时运转着接下来五分钟会发生什么：汤汁会在什么时候开始沸腾，肉大概还需要多久才能熟透，现在应该提前准备好什么配料以免届时手忙脚乱。这种对"未来场景"的预判能力，是让厨师动作流畅、游刃有余的关键。相反，一个只会应对当下的厨师，往往会在关键时刻措手不及。
绝大多数现有的机器人系统，只根据"当前时刻看到的画面"来决定下一步动作，对接下来场景会如何演变几乎没有预判。LingBot-VLA 2.0通过一套名为**"双查询蒸馏"（Dual-Query Distillation）**的机制来解决这个问题，核心思路是在机器人思考动作的同时，同步学习对未来场景的预测。
这套机制引入了两类"老师"，让模型向它们学习。第一位老师负责"空间感知"，名为**LingBot-Depth**，是一个专门做深度估计的模型——可以把它理解为一双能精确感知"远近距离"的眼睛，能从普通相机画面中计算出场景中每个物体距离摄像头的精确距离，从而生成一张描述场景三维结构的"深度图"。第二位老师负责"时间感知"，名为**DINO-Video**，是研究团队自主研发的一个视频理解模型——它能够从连续视频帧中提取带有时间信息的视觉特征，感知物体是如何随时间变化和运动的。
在训练过程中，LingBot-VLA 2.0为每个时刻配备了两类查询信号：一类对应"当前画面"，一类对应"未来某个时刻的画面"（具体来说，是动作序列执行完毕后的那一帧）。这两类查询信号分别被引导去预测两位老师给出的特征表示——当前帧的深度特征和DINO-Video特征，以及未来帧的深度特征和DINO-Video特征。通过这种方式，模型被迫在内部建立起对未来场景的几何结构和视觉状态的表征，逐步培养出一定程度的"预见能力"。
DINO-Video这位老师本身也是这次研究的一项新成果。它以DINOv3图像特征模型为基础，加入了"块级因果时间注意力"机制（可以理解为：每个时间步的特征只能参考当前及之前的帧，不能偷看未来的帧，这符合机器人在实际操作时只能看到历史信息的约束）和三维旋转位置编码（帮助模型同时感知空间位置和时间位置）。研究团队用横跨互联网通用视频、第一视角操作视频和机器人操作视频共五百万段视频片段，对DINO-Video进行了专项训练。在一个名为LARYBench的评测基准上，DINO-Video在四项子测试中的三项取得了最优成绩，验证了它作为时序特征教师的有效性。
四、让不同任务之间的知识不相互干扰：专家团队各司其职
在理解这部分之前，不妨设想一家餐厅同时承接着粤菜、川菜和法餐的制作任务。如果让同一批厨师既要掌握清淡精致的粤菜技法，又要驾驭重口浓烈的川菜调味，还要精通法式烹饪的细腻程序，他们往往会顾此失彼，各种菜系的风格相互干扰，最终哪一样都做不到极致。更好的方案是：餐厅设立不同的专项厨师团队，粤菜组、川菜组、法餐组各自专注于自己的领域，但共用同一套后勤和基础设施。
LingBot-VLA 2.0在模型架构层面借鉴了这种思路，采用了**混合专家（Mixture-of-Experts，MoE）**机制。在这套架构中，负责生成动作的模块（称为"动作专家"）不再是一个单一的神经网络，而是由多个子网络（"专家"）组成的集合。对于每个输入的动作控制信号，系统会自动选择其中的若干个专家来处理，而不是让所有专家都参与每一次计算。这样一来，不同的专家可以自然地"专门化"到处理不同类型的动作模式，相互之间的干扰减少，而总体计算成本也不会因为专家数量增加而线性膨胀。
在具体实现上，每一层动作专家的前馈网络都被替换成MoE层。每个MoE层包含一个始终参与计算的"共享专家"（负责保留所有场景通用的基础能力）和若干只在需要时才被激活的"路由专家"（负责处理特定类型的动作控制）。对于每个输入，路由器会计算该输入与各个路由专家的"亲和度"得分，然后选择得分最高的K个专家参与计算。
这里有一个值得关注的设计细节：计算亲和度得分时，研究团队使用了Sigmoid激活函数而非常见的Softmax函数。区别在于，Softmax会强迫所有专家的权重之和为1，这意味着一个专家分数越高，其他专家的分数就必然被压低，造成专家之间的激烈"竞争"。而Sigmoid函数让每个专家的得分独立计算，减少了不必要的竞争压力，有利于专家分工的自然形成。
另一个精妙之处在于负载均衡策略。如果让某些专家总是被大量使用，而其他专家几乎闲置，整个系统的计算资源就没有被充分利用。传统方法是在损失函数中加入额外的"均衡惩罚项"，但这会干扰模型的主要学习目标（也就是学好动作控制）。研究团队采用了一种"无辅助损失均衡"策略：系统监控每个专家的实际使用频率，如果某个专家被使用得太多，就在路由打分时给它一个小小的"负向修正偏置"，降低它被继续过度选择的概率；反之亦然。这个偏置只影响专家的"选中概率"，但不影响被选中后的实际权重计算，确保了主学习目标不受干扰。
研究团队通过对比实验验证了MoE架构的优越性：在计算量（活跃参数数量）相同的前提下，参数总量为1.6B、活跃参数为0.6B的MoE模型，其训练损失和验证动作误差都持续优于参数总量同为0.6B的稠密（Dense）模型。这表明MoE的优势不仅仅来自参数总量更大，更来自稀疏激活带来的更高效的模型容量分配方式。
五、把模型拉回现实：动作空间设计的细节里藏着大学问
在将模型部署到真实机器人之前，研究团队还系统性地探索了一系列看似细小、实则影响深远的设计选择，包括动作目标的表达方式、动作空间的选择、归一化方法以及损失函数类型。
关于动作目标，研究团队比较了两种方案：一种是用"绝对关节角度"表示目标（即每次动作指令都告诉机器人"把关节调到X度"），另一种是用"相对关节变化量"表示目标（即"在当前角度基础上增加/减少Y度"）。实验结果显示，相对变化量的表示方式平均成功率为55.0%，远高于绝对角度方式的33.7%。背后的原因很直观：相对变化量的数值范围更小、分布更集中（标准差只有绝对角度的31%到37%），模型预测起来更精准，就像告诉你"向左走三步"比"你现在应该站在北纬39.92度"更容易执行一样。
关于动作空间，研究团队比较了以末端执行器位置与朝向为控制目标（EEF空间）和以各关节角度为控制目标（关节空间）两种方式。有趣的是，两者的平均成功率非常接近（分别为56.0%和55.0%），但在具体任务上各有优劣：对于需要精确定位工具末端的任务（如用夹爪抓取细小物件的"刷条码"任务），关节空间表现更好（58.7%对24.0%）；对于需要精细接触力控制的任务（如"挤番茄酱"），末端执行器空间更占优（81.7%对41.7%）。这种差异本质上反映了不同任务对"控制空间"的内在偏好，并不存在放之四海而皆准的最优选择。
关于归一化，研究团队测试了三种方案：MinMax归一化（将数值线性压缩到固定区间）、Q01-Q99百分位归一化（只用1%到99%分位数的范围作为归一化基准），以及MeanStd均值标准差归一化（以均值为中心，以标准差为单位缩放）。实验发现，MeanStd方法以55.0%的平均成功率最优，MinMax最差（47.5%）。原因在于，MinMax将绝大多数数值压缩到了极窄的范围（标准差仅0.15，而MeanStd方法下为0.95），有效分辨率大幅下降——就像把一把尺子的刻度从毫米改成厘米，精度损失导致动作质量下降。
关于损失函数，L2损失（均方误差）以55.0%的平均成功率优于L1损失（绝对误差，46.4%），原因是在相对动作这种"大量数值集中在零附近"的分布下，L2损失对高密度区域的回归精度更敏感，更能约束模型产出精准的小量修正。
六、在真实机器人上的表现：成绩单究竟怎么样？
研究团队在多个层次的真实任务上验证了LingBot-VLA 2.0的实际效果。
首先是在**GM-100双臂操作基准**上的测试。这是一个包含一百种精细操作任务的评测体系，研究团队从中选取了九项，在两台机器人平台（AgileX Cobot Magic和Galaxea R1 Pro）上进行了"通才设置"下的测试，也就是用单一策略同时应对所有九项任务，而非针对每项任务单独训练。参与比较的系统包括NVIDIA的GR00T N1.7、Physical Intelligence的π0.5，以及上一代LingBot-VLA-1.0。
在Agilex Cobot Magic平台上，LingBot-VLA 2.0达到了66.2分的平均进度得分和34.4%的平均成功率，比上一代LingBot-VLA-1.0分别高出8.0分和4.4个百分点，比π0.5高出7.1分和2.2个百分点。提升最为显著的任务是"取出钥匙链"，LingBot-VLA 2.0取得了满分100/100，而上一代仅为67.5/60.0；在"取出玩具骨头"任务上，新版本从77.5/70.0提升至95.0/90.0。在Galaxea R1 Pro平台上，LingBot-VLA 2.0达到34.6/15.6，优于π0.5的27.4/8.9。
当然，提升并非发生在每项任务上。"整理鸡蛋"、"工具装箱"等任务的绝对成功率依然较低，这反映出这类需要极高精度的放置操作，对所有系统而言都仍然是挑战。
更值得关注的是**长流程移动操作任务**上的测试，因为这类任务更接近机器人在真实家庭或服务场景中需要完成的工作。研究团队选择了两个平台和两项任务：Astribot S1执行"把物品整理进冰箱"，Cobot Magic-ARX X5执行"清洁炉灶"。
"整理进冰箱"任务共分十一个子步骤：从初始位置移动到厨房岛台、逐一拾取饮料和水果放入篮子、端起篮子移动到冰箱前、打开冰箱门、逐一将物品放入冰箱、最后关上冰箱门。"清洁炉灶"任务共分七个子步骤：移动到炉灶前、拿起锅架放到桌边、拾起海绵、用海绵擦掉炉灶上的污渍、把海绵放到炉灶右侧、把锅架放回、把锅放回炉灶。
每项任务都在"同分布"（训练时使用的物品和机器人初始位置）和"分布外"（初始位置在前后左右各扰动最多10厘米，冰箱任务中还替换了从未见过的水果品类）两种设置下各进行了十五次独立测试。
结果显示，在同分布设置下，LingBot-VLA 2.0在冰箱整理任务上达到77.1/60.0，在炉灶清洁任务上达到84.3/66.7，分别比π0.5高出11.8/13.3和4.4/6.7个百分点。在分布外设置下，LingBot-VLA 2.0在两项任务上分别达到37.0/13.3和67.5/40.0，对应比π0.5高出6.7/6.6和5.0/6.7个百分点。
冰箱整理任务从同分布到分布外的性能下降比炉灶清洁更明显，这是符合预期的：冰箱任务同时改变了初始位置和被操作物品的类别，对系统的泛化能力提出了双重挑战；而炉灶清洁任务只改变了初始位置，在场景结构上的变化更小。
说到底，LingBot-VLA 2.0做的事情可以用一句话概括：让机器人真正开始适应现实世界，而不只是在预设好的环境里表演完美。这套系统通过大规模多样化数据积累、全身控制能力扩展、未来场景预测能力和专家分工架构的协同作用，在多个层面上推进了机器人系统从"实验室优等生"向"现实世界工作者"的转变。
当然，从这篇论文的成果到真正可以在家庭和工厂里广泛部署的机器人，路还很长。那些需要极高精度放置的任务（比如把鸡蛋准确放入托盘格子）依然对所有系统构成挑战；不同机器人平台之间的性能差异说明，如何更好地将通用能力迁移到特定机器人的特定运动特性上，还需要进一步研究；在真正分布外的环境中（比如机器人从未见过的房间布局或物品种类），现有系统的表现还有显著提升空间。
不过，这项研究展示的方向让人对未来充满期待。当机器人不再只会"对症下药"，而是开始学会"未雨绸缪"，当它们不再只熟悉一种身体，而是能够适应各种形态，或许真正意义上的通用家政机器人和服务机器人，离我们并不那么遥远。
有兴趣深入了解的读者，可以通过arXiv编号2607.06403v1查阅这篇论文的完整内容，研究团队也在GitHub（github.com/robbyant/lingbot-vla-v2）开放了代码，并在HuggingFace上发布了预训练模型权重。
Q&A
Q1：LingBot-VLA 2.0和普通机器人控制系统有什么本质区别？
A：普通机器人控制系统通常只根据当前传感器数据执行预设动作，而LingBot-VLA 2.0是一套视觉-语言-动作模型，能同时理解画面、语言指令，并预测未来场景变化来决定动作。它还能泛化到二十种不同形态的机器人，而非只针对一种设备。
Q2：LingBot-VLA 2.0训练数据里的六万小时是怎么来的？
A：研究团队从二十种不同机器人平台收集了约九万小时原始录像，经过严格筛选（过滤掉抖动、模糊、数据对不齐等问题片段）保留五万小时；另外还筛选了约两万小时人类第一视角操作视频，最终保留约一万小时。两部分合计约六万小时高质量训练数据。
Q3：混合专家（MoE）架构为什么能让机器人动作更好？
A：混合专家机制允许模型内部的不同"子网络专家"各自专门化处理不同类型的动作控制，避免了用同一批参数同时应对所有任务类型时产生的相互干扰。实验证明，在计算量相同的条件下，MoE模型的训练损失和动作误差都持续低于传统单一网络模型。