10月20日,由觅蜂科技、Hugging Face、NVIDIA、清华大学等全球近20家高校、企业和科研机构联合发起的具身智能评测平台 RoboColiseum 公布本轮评测结果。与单纯比较模型知名度不同,该平台尝试为具身模型建立一套公开、中立、可复现的评测机制,让开发者能够在统一任务与统一环境中查看模型表现。
本轮评测中,Claude Opus 5.5 在四款旗舰模型中取得综合第一,GPT-6 Astra 排名第二。平台同时显示,本轮综合排名前两名仍由具身策略模型占据,尤其是在通用操作维度保持优势。这一结果让通用大模型与具身策略模型的能力差异被放在同一评测框架下观察。
四类子榜与 78 个任务:把“会不会操作机器人”拆开看
RoboColiseum 围绕指令跟随、空间理解、扰动适应和通用操作设置四类能力子榜,并提供 78 个高保真仿真评测任务。评测不只给出总分,也会记录任务完成步骤与失败位置,帮助开发者判断模型是在指令理解、空间判断、抗干扰还是操作执行环节出现问题。
在具体分项上,GPT-6 Astra 在指令跟随与整体扰动适应上领先,指令跟随得分达到 99.35;Claude Opus 5.5 在空间理解与通用操作上表现更好,并以最少的全轮评测 token 消耗获得旗舰组综合第一。在图像质量受扰动的测试中,GPT-6.1 Sol 明显落后于其他三款模型,体现出不同模型应对视觉信息变化时的稳定性差异。
- 指令跟随
- 空间理解
- 扰动适应
- 通用操作
仿真成绩如何对接真实机器人
对于具身智能评测,仿真分数能否反映真实操作表现是平台可信度的关键。RoboColiseum 公布的实测结果显示,其仿真评测与实机部署的相关性达到 89.5%,相同模型在仿真与真实世界中的评测差异小于 10%。这一数据为开发者在进入真机测试前进行模型筛选和问题定位提供了参考。
为构建复杂机器人操作任务的评测环境,觅蜂科技向平台提供高保真物体资产和仿真场景,支持不同物体交互、空间布局与环境条件下的测试。其数据供给体系覆盖真机、仿真与无本体三大数据范式;在仿真方面,觅蜂提供物体资产与环境资产两类资源,覆盖多种日常物品及室内场景,并提供场景重建、专家轨迹数据获取和评测结果可视化能力。
开放提交与标准化考试:评测平台的长期价值
RoboColiseum 以 Coliseum 作为意象,目标是搭建具身智能模型的公开竞技场和训练场。任何高校、研究机构或企业开发者都可以提交模型,接受标准化评测。自 8 月上线以来,已有海内外 100 多支队伍在平台开展模型训练与评测。
对开发者而言,这类平台的意义不只是排名。统一任务、统一场景和可复现流程,使模型短板可以被定位,不同团队的结果可以被比较,仿真评测也为真机部署前的筛选提供了依据。RoboColiseum 现已面向全球开发者开放,官网与技术报告同步公开,模型团队可在其中参与评测并查看标准化结果。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/ju-shen-mo-xing-xu-yao-ke-fu-xian-de-cheng-ji-dan