Climbing trees 1: what are decision trees?
a year ago
- #algorithms
- #machine-learning
- #decision-trees
- 决策树是机器学习的基础方法，可用于分类和回归任务。
- 其原理是通过特征值将数据划分为不同区域，具有可解释性但容易过拟合。
- 主要类型包括分类树（适用于类别型结果）和回归树（适用于连续型结果）。
- 常用算法有ID3、C4.5和CART，其中CART同时支持分类与回归。
- 决策树使用基尼不纯度、信息熵或平方损失等目标函数来优化分裂节点。
- 由于依赖轴平行分割，难以处理非层级关系（如异或问题、加性结构）。
- '阶梯效应'指其无法建模平滑或倾斜决策边界的局限性。
- 优势：可解释性强、可扩展性高、数据预处理简单、支持混合数据类型、能捕捉非线性关系。
- 劣势：易过拟合、模型不稳定、预测结果不连续、难以处理全局依赖关系。
- 决策树不会外推训练数据范围外的结果，这一特性在不同场景下可能是优点或缺点。
- 集成方法（如装袋法、提升法）能显著提升性能，典型代表包括随机森林和梯度提升树。