小米开源 Xiaomi-Robotics-U0:具身领域首个“通吃”四类任务的统一生成模型
小米于 7 月 15 日公布了其名为 Xiaomi-Robotics-U0 的新型基础模型。该模型拥有 380 亿参数,是一个多模态自回归具身生成模型,被誉为具身领域首个能够统一处理四种任务的模型,有效连接了机器人图像和视频数据的生成与编辑流程。
Xiaomi-Robotics-U0 的核心能力体现在以下四个方面:
- 具身场景生成:该模型能够根据文本指令,为指定的机器人本体创建多视角的初始场景。无论用户描述的是桌面、厨房、仓库还是更复杂的开放世界环境,模型都能生成相应的机器人观测视图。
- 具身迁移:模型支持将现有的机器人轨迹应用到新的环境中。它可以调整光照、背景、桌面材质、目标物体或工作区风格,同时保持原始轨迹中的机械臂姿态和场景布局。
- 机器人交互视频生成:基于初始观测和操作指令,模型可以生成后续的视频。该功能在保证动作连贯性和物理真实性的同时,还能实现零样本泛化到各种场景。
- 通用文生图和图像编辑:该模型集成了通用的图像生成和编辑能力,使得互联网上的视觉知识能够被迁移并应用于具身智能任务。
小米方面表示,该模型可以在保持几何一致性的前提下,对现有数据进行增强,例如更换物体、调整光照、改变背景或添加干扰,而无需重新采集数据。此外,它还能从零开始生成全新的场景,覆盖真实机器人难以触及的危险、极端或长尾环境。通过采用 FlashAR+ 推理加速方案,其生成效率相比原始的自回归范式提升了约 83 倍,显著加快了工程落地速度。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。
在 WorldArena 评测基准中,Xiaomi-Robotics-U0 在包含 126 个模型的全球评测中获得了总分第一的成绩。在真实机器人评测中,使用 Xiaomi-Robotics-U0 扩充数据训练的策略,在未知光照和陌生背景等非分布(Out of Distribution)场景下的任务完成率平均提升了超过 26%。
目前,相关的代码和模型权重已全部开源。
开云围绕开云官网不断创新,回应用户的真实需求。
开云以开云入口为核心,带来高效便捷的体验。
开云专注开云入口,为用户提供专业可靠的体验。
围绕kaiyun,开云持续打磨更优质的服务。
开云深耕开云官网领域,用心服务每一位用户。
想了解更多kaiyun相关内容,尽在开云。