“决策树”小结

• 决策树是从直观上很好理解的模型，可以把它理解为一个划分规则的序列
• 决策树常用的生成算法包括：
  • ID3 算法，它使用互信息作为信息增益的度量
  • C4.5 算法，它使用信息增益比作为信息增益的度量
  • CART 算法，它规定生成出来的决策树为二叉树、且一般使用基尼增益作为信息增益的度量
• 决策树常用的剪枝算法有两种，它们都是为了适当地降低模型复杂度、从而期望模型在未知数据上的表现更好
• 决策树的代码实现从始到终都贯彻着递归的思想，可以说是递归的一个经典应用