How Can Reinforcement Learning Achieve Expert-Level [Chip] Placement?
9 days ago
- #reward model
- #reinforcement learning
- #chip placement
- 芯片布局在物理设计中至关重要，但专注于线长优化的基于强化学习的方法通常难以达到专家级的布局质量。
- 奖励设计被认为是性能与专家水平存在差距的主要原因。
- 该方法通过学习专家布局直接推导出奖励模型，从而绕过了形式化复杂过程的需要。
- 它从最终专家布局中推断出逐步的专家轨迹。
- 利用这些轨迹作为演示或偏好，训练一个模型以捕捉专家结果中潜在的隐含奖励。
- 实验表明，该框架即使仅从单个设计学习也能高效工作，并对未见案例具有良好的泛化能力。