Show HN: Shoggoth Mini – A soft tentacle robot powered by GPT-4o and RL
10 months ago
- #expressiveness
- #reinforcement-learning
- #robotics
- 在LLM时代，机器人技术正随着Pi的π0.5和特斯拉Optimus等系统不断进步，但它们缺乏表现力。
- 机器人的表现力能传达意图、注意力等内部状态，使交互感觉自然。
- 苹果的ELEGNT论文和SpiRobs项目启发了Shoggoth Mini的诞生，旨在探索机器人表现力。
- Shoggoth Mini的硬件从简单测试台演变为带立体摄像头的穹顶形机器人，用于动作追踪。
- 通过2D到3D的映射简化了手动控制，使用户能直观操控触手。
- 该系统采用GPT-4o进行高层控制，强化学习实现低层闭环行为。
- 感知模块使用MediaPipe和定制YOLO模型实现手部与触手末端追踪。
- 通过强化学习训练闭环控制策略，先在仿真环境中训练再迁移到硬件。
- 该项目揭示了表现力与不可预测性之间的平衡对机器人生命感的重要性。
- 未来方向包括增加语音功能、扩展控制空间以及增加触手数量。