机器学习-决策树
决策树模型
每个“内部节点”对应于某个属性上的“测试”（test）；每个分支对应于该测试的一种可能结果（即该属性的某个取值）；每个“叶节点”对应于一个预测结果
学习过程：通过对训练样本的分析来确定“划分属性”（即内部节点对应的属性）
预测过程：将测试示例从根节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点
策略：分而治之
信息增益
信息熵是度量样本集合"纯度"最常用的一种指标。
信息增益以信息熵为基础，计算当前划分对信息熵所造成的变化。
【西瓜书例题】
增益率
信息增益如果只考虑到信息量的获得，其实一定程度上是偏好了分支多的属性，因为分支越多，分到每个分支上的样本越少，那它自然相对分支少的会分得更"干净"，这样的偏好使得模型的泛化能力差，因此需要改进 -- 于是引入了增益率。
增益率分母上的IV(a)其实起到了一个规范化的作用，把我们原先不可比较的东西变得可比。
（规范化的一个特殊形式是归一化，即将属性的值规范化到0-1之间）
启发式思想 -- 先从候选划分属性中找出信息增益高于平均水平的，再从中选取增益率最高的。
基尼指数
再候选属性中，选择使划分后基尼指数最小的属性。
决策树的剪枝
划分选择的各种准则虽然对决策树的尺寸有较大的影响，但是对泛化能力的影响很有限。
剪枝方法和程度对决策树泛化性能的影响更为显著 -- 剪枝是减少决策树过拟合的根本方法
预剪枝 -- 提前终止某些分支的增长
后剪枝 -- 生成一棵完全数后再回头剪枝
如何评估剪枝前后决策树的优劣？-- 第二章 模型评估
缺失值处理
使用带缺失值的样例需解决两个问题：
Q1 -- 如何进行划分属性选择？
Q2 -- 给定划分属性，如果样本在该属性上的值缺失，如何进行划分？
基本思路：样本赋权，权重划分。
step1：学习开始时，根节点包含样例集D中全部样例，权重均为1
step2：计算属性的信息熵，样例总数为无缺失值的样例子集
step3：计算属性在样本子集和在完整样本集上的信息增益
上一篇：【MySQL】引索