复旦大学团队研发纯视觉机器人端侧大脑

中新网上海10月12日电 (记者 陈静)12日，在第26届中国国际工业博览会(下称：工博会)上，搭载纯视觉机器人端侧大脑的跑腿机器人“旦宝”正式发布。

复旦大学未来信息创新学院博士后张天资介绍，纯视觉机器人端侧大脑技术突破让机器人摆脱对预建地图等的依赖，将推动机器人自主化底层范式从“依赖预设”走向“自主理解”。“过去的机器人按预设或建图行动，未来的机器人要靠智能理解世界。”张天资说。

长期以来，机器人的运动与作业主要依靠三种方式：遥控、预编程和预先建图。在遥控之外，无论是预先设定的程序轨迹，还是预建地图，都要在运行之前给定，而非来自机器人自身对环境的实时理解。一旦环境或任务发生变化，就需要重新编程或重新建图。

据了解，仅凭视觉感知，在功耗不到20瓦的端侧芯片上实时完成空间理解与自主决策，“旦宝”即可在复杂、陌生的环境中自主通行，无需遥控，也无需预建地图。端侧大脑让机器人直接从视觉中理解所处的空间，并据此自主决策与行动，不再依赖实时遥控、预设程序或预建地图。

据介绍，在内核设计上，研发团队将机器人的各类运动与动作统一归纳为“导航”问题：移动是将本体导航至目标位置，抓取等操作则是将末端执行器导航至目标物体附近。该团队基于上述内核训练出的首项物理技能VSIN，已在工程样机上实现运行。轻量化是VSIN的一个重要特点。“当行业竞相提升机器人能力的上限时，我们团队着力率先解决物理智能规模化落地的下限。”张天资说。当前具身智能导航大模型的参数规模多为数十亿级，对算力要求较高，部分方案需依赖离机推理，难以直接部署于现有机器人本体。VSIN参数量约1.2亿，不足同类导航大模型的十分之一，可在20瓦以内的功耗下支持最多8路相机输入的端侧实时运行，为机器人物理智能的规模化部署提供了可行路径。

另据了解，研发团队正与跑腿配送、巡检、商用清洁等多类机器人开展适配，同时在国产端侧算力芯片上并行适配。团队将沿着“空间智能-任务智能-端侧通用智能”的路径，从让机器人自主行走，走向自主完成任务，再到理解意图、持续进化。