GEN-0 / Embodied Foundation Models That Scale with Physical Interaction
6 months ago
- #foundation-models
- #embodied-AI
- #robotics
- GEN-0是一类新型具身基础模型，专为高保真原始物理交互的多模态训练而设计
- 该模型具备谐波推理能力，可实现无缝思维与行动，并支持超大规模参数扩展（100亿+参数）
- 研究发现70亿参数时出现相变现象：小模型在数据过载下性能固化，而更大模型持续提升
- GEN-0展现出强劲的缩放定律，预训练数据和算力增加可稳定提升下游任务表现
- 模型预训练使用27万+小时真实世界操控数据，且以每周1万小时速度持续增长
- 通过验证预测均方误差和反向KL散度评估性能，后者可有效检测模式寻求行为
- 研究发现预训练效果更依赖数据质量与多样性，而非单纯的数据量
- GEN-0适配多种机器人构型（6自由度、7自由度、16+自由度半人形机器人）
- 该架构规避了系统1-系统2的依赖关系，采用谐波推理实现连续时空感知与行动