Decision trees – the unreasonable power of nested decision rules
3 months ago
- #Decision Trees
- #Machine Learning
- #Entropy
- 决策树通过使用序列规则将特征空间划分为不同区域来对数据进行分类。
- 熵用于衡量信息量并量化数据样本的纯度，纯净样本的熵为零。
- 决策树利用信息增益中的熵和ID3算法来确定分裂规则。
- 决策树简单、可解释性强且运算速度快，但存在不稳定性且对数据微小变化敏感。
- 可通过剪枝技术（如限制树深度或叶节点大小）缓解决策树的过拟合问题。
- 使用随机森林等集成方法可解决决策树的高方差问题。
- 若不加约束，决策树可能过于复杂，导致泛化能力差。
- 后续内容将涵盖回归决策树及其他树模型专属超参数。