把统计学习方法十大算法精简了一些手写了出来(虽然我觉得书本身已经很精简了)
现在只有算法本身的流程,以后如果有什么新的理解再补充
字太丑,自己都看不下去,发上来纯粹做个备份
概论
感知机
k近邻
朴素贝叶斯
决策树
- GBDT写在了提升方法里,另外可以扩展看看随机森林,是一个自举的方法,利用了决策树。
逻辑斯蒂回归、最大熵
- 待补充最大熵和逻辑斯蒂回归之间的相互推导
支持向量机
提升方法
- 待补充XGBoost
EM算法
- 用EM算法做高斯混合模型的推断时,需要推断的参数包括k个高斯模型的均值、方差、比例系数,隐变量代表第j个观测样本来自第k个高斯模型的可能,叫做responsibility,而$n_k$则是对第k个高斯模型在所有样本上的responsibility的总和,除以$N$即以其均值来更新GMM比例系数,用responsibility加权样本来更新均值,方差同理。
- 在更新完参数之后,再用这些参数重新计算responsibility,重新计算E步骤,再继续做M步骤,从而完成迭代。
隐马尔可夫
条件随机场
- 待补充三种问题的解法,因为条件随机场是隐马尔可夫模型的条件化扩展,算法也类似