机器学习笔记
对目前主流的机器学习算法进行公式推导、问题分析以及代码实现(主要基于numpy),持续更新(下面链接如果加载不出来,对应内容可在notebooks文件夹下找到):
01_线性模型_线性回归_正则化(Lasso,Ridge,ElasticNet)
10_02_集成学习_boosting_adaboost_classifier
10_03_集成学习_boosting_adaboost_regressor
10_05_集成学习_boosting_gbm_regressor
10_06_集成学习_boosting_gbm_classifier
10_08_集成学习_bagging_randomforest
10_09_集成学习_bagging_高阶组合_stacking
10_10_集成学习_xgboost_原理介绍及回归树的简单实现
10_12_集成学习_xgboost_回归的更多实现:泊松回归、gamma回归、tweedie回归
10_16_集成学习_dart_提升树与dropout的碰撞
10_17_集成学习_树模型的可解释性_模型的特征重要性及样本的特征重要性(sabaas,shap,tree shap)
11_04_EM_GMM分类实现及其与LogisticRegression的关系
12_08_PGM_HMM_隐马模型:介绍及概率计算(前向、后向算法)
12_09_PGM_HMM_隐马模型:参数学习(有监督、无监督)
12_13_PGM_CRF_条件随机场:定义及形式(简化、矩阵形式)
12_15_PGM_CRF_条件随机场:概率及期望值计算(前向后向算法)
13_01_sampling_为什么要采样(求期望、积分等)
13_02_sampling_MC采样:接受-拒绝采样、重要采样
13_03_sampling_MCMC:采样原理(再探马尔可夫链)
15_08_VI_线性回归模型的贝叶斯估计实现:进一步扩展VI
17_03_FM_FFM的损失函数扩展(possion,gamma,tweedie回归实现以及分类实现)
参考
《统计学习方法》第二版 --李航
《机器学习》 --周志华
《深入理解XGBoost》 --何龙
《模式识别与机器学习》(PRML)
《徐亦达机器学习课程》 bilibili传送门>>>
《机器学习—白板推导系列》 bilibili传送门>>>