0%

统计学习方法手写版笔记


把统计学习方法十大算法精简了一些手写了出来(虽然我觉得书本身已经很精简了) 现在只有算法本身的流程,以后如果有什么新的理解再补充 字太丑,自己都看不下去,发上来纯粹做个备份

概论

i0HLjK.jpg
i0Hb1x.jpg
i0HoN9.jpg

感知机

i0HH91.jpg
i0HThR.jpg

k近邻

i0Hqc6.jpg
i0HXnO.jpg

朴素贝叶斯

i0HjBD.jpg

决策树

  • GBDT写在了提升方法里,另外可以扩展看看随机森林,是一个自举的方法,利用了决策树。 i0HzAH.jpg
i0HvHe.jpg
i0bP3t.jpg
i0bSNd.jpg

逻辑斯蒂回归、最大熵

  • 待补充最大熵和逻辑斯蒂回归之间的相互推导 i0bigP.jpg
i0bp4A.jpg

支持向量机

i0bFjf.jpg
i0bAu8.jpg
i0bEDS.jpg
i0beEQ.jpg
i0bVHg.jpg
i0bmNj.jpg

提升方法

  • 待补充XGBoost i0bn4s.jpg
i0bKCn.jpg

EM算法

i0bM3q.jpg
i0bQg0.jpg
  • 用EM算法做高斯混合模型的推断时,需要推断的参数包括k个高斯模型的均值、方差、比例系数,隐变量代表第j个观测样本来自第k个高斯模型的可能,叫做responsibility,而\(n_k\)则是对第k个高斯模型在所有样本上的responsibility的总和,除以\(N\)即以其均值来更新GMM比例系数,用responsibility加权样本来更新均值,方差同理。
  • 在更新完参数之后,再用这些参数重新计算responsibility,重新计算E步骤,再继续做M步骤,从而完成迭代。

隐马尔可夫

i0b3uT.jpg
i0blvV.jpg
i0b8DU.jpg
i0bGbF.jpg

条件随机场

  • 待补充三种问题的解法,因为条件随机场是隐马尔可夫模型的条件化扩展,算法也类似 i0bYE4.jpg