Are polynomial features the root of all evil? (2024)
a year ago
- #machine-learning
- #polynomial-features
- #regularization
- 机器学习中的多项式特征常因误解而被认为存在问题，这种观点源于普遍存在的认知误区。
- 与常见观念相反，通过正则化技术可以有效控制高次多项式带来的复杂度问题。
- 标准多项式基函数并不适用于估计任务，这会导致过拟合和振荡现象。
- 切比雪夫多项式、勒让德多项式等替代基函数虽在插值任务中表现更好，但仍难以处理含噪声数据。
- 伯恩斯坦多项式通过提供具有统一'单位'的系数，使正则化过程变得直观有效。
- 伯恩斯坦多项式在计算机图形学领域应用广泛，但在机器学习领域却鲜为人知。
- 使用伯恩斯坦多项式时，即使是50次或100次的高阶多项式也能完美拟合数据而不产生过拟合，多个案例已证实这点。
- 关于"高次多项式必然存在问题"的论调其实是个误区，只要选择合适的基函数并配合正则化，这个神话就能被打破。