Double Descent Demystified: size of smallest non-zero singular value of X
a year ago
- #double descent
- #overparameterization
- #machine learning
- 双下降是机器学习中的一种现象，当模型参数超过数据点数量时测试误差反而降低，这与经典过拟合理论相矛盾。
- 双下降现象中测试损失的变化取决于数据规模、维度和模型参数。
- 该论文通过多项式回归和线性代数对双下降现象给出了直观解释。
- 研究确定了三个可解释因素，必须同时存在才会出现双下降现象。
- 研究在普通线性回归的真实数据上演示了双下降现象，并证明当移除任一因素时该现象会消失。
- 这些发现有助于解释非线性模型中关于叠加和双下降的最新观察结果。
- 相关研究代码已公开可用。