Segmenting Robot Video into Actionable Subtasks
13 days ago
- #Robotics
- #VLMs
- #Benchmark
- 介绍WGO-Bench基准，这是一个机器人技术子任务标注的基准数据集，包含100个视频片段，涵盖62项任务指令，共划分743个片段。
- 超过60次实验确定最佳子任务标注流程：最佳分割F1分数为0.306，标签准确率达61.0%，端到端F1分数为0.168。
- Gemini模型，特别是Gemini 3.5 Flash，表现优于其他模型24.5%，最适合此任务。
- 经济高效的方法使用联系表，每视频小时成本为2.64美元（批量计价），比人工标注便宜约19倍。
- 关键技术包括联系表上的视觉时间戳标记、严格的标注协议，以及使用前/中/后片段上下文进行标注。
- 分割是主要瓶颈，尤其对于短子任务，而标注通过上下文视觉输入得以改善。
- 已在Refiner中开源流程供公众使用，实现无需人工干预的可扩展子任务标注。