Building a custom octocopter from scratch with no prior hardware experience
15 days ago
- #failure recovery
- #reinforcement learning
- #drone simulation
- 无人机在模拟中现已能够应对单电机、双电机及部分三电机失效情况。
- 作者首先训练了一个仅在模拟环境中使用的控制策略，这有助于快速发现问题。
- 早期尝试采用基础PPO算法并设置高探索率时，因熵值持续增加导致坠毁而失败。
- 降低探索率后出现好转迹象，但为优先加入单电机失效训练而暂停了该实验。
- 引入包含悬停、单电机失效与双电机失效的课程学习方案后系统全面崩溃，暴露出多个程序缺陷。
- 暴露的问题包括：僵尸进程覆盖检查点、残余动作导致执行器饱和、以及训练过程失效。
- 实施了两项关键改进：使用tanh函数压缩动作范围并调整生存奖励机制。
- 最终策略采用包含4.34万个参数的MLP模型，可泛化至未经训练的三电机失效场景。
- 该策略甚至能以微小漂移控制某些先前被认为不可控的偏航工况。