Paying attention to feature distribution alignment (pun intended)
9 months ago
- #feature distribution
- #polynomial features
- #machine learning
- 文章讨论了机器学习中特征分布对齐的重要性，特别聚焦于多项式特征的应用。
- 介绍了多项式基中正交性的概念及其与信息量的关系——正交基能生成不相关的特征。
- 重点分析了勒让德多项式基的正交性优势：当特征均匀分布时效果显著，但现实数据往往不符合该假设。
- 针对非均匀数据分布提出两种实用方法：映射技巧（mapping trick）和乘以一技巧（multiplication by one trick）。
- 映射技巧通过累积分布函数（CDF）转换特征，使其与勒让德基对齐，从而保证相对于数据分布的正交性。
- 仿真实验表明，基于CDF的映射转换能产生几乎不相关的特征，有效提升模型性能。
- 通过对比实验证明：使用CDF正交特征的模型表现显著优于仅采用min-max标准化的模型。
- 乘以一技巧虽然支持自定义权重函数，但因实现复杂度较高而实用性受限。
- 最终强调特征分布与正交基的对齐是提升模型性能的关键所在。