How we made our LeRobot video reader up to 15× faster
5 days ago
- LeRobot是机器人学习数据的主要开放格式，但解码帧既昂贵又占用大量内存。
- 原始的Daft LeRobot读取器对每一帧都打开每个MP4分片，导致高延迟（每帧3秒）和线性成本增长。
- 该修复方案使用批量UDF一次处理16个连续行，按分片分组，按时间戳排序和聚类目标，并且每个集群只寻址一次。
- 批量读取器在各种数据集上快4–13倍，在1080p数据集上快达15倍（632帧在不到2分钟内完成，对比29分钟）。
- 使用优化读取器的手部追踪流水线将端到端时间从44.8秒缩短到9.8秒，检测结果相同。