Home

Welcome to the Learning_xgboost-gdbt wiki! > 这几天在网上找到一个牛人的github,wepon基本把机器学习算法自己用Python等语言实现了一遍，还开发了一个关于xgboost模型算法的tgboost库，读完代码后感觉收获挺多，为了能够学的更牢固，将自己的所学的内容按照的方式总结一下，加深自己的印象。 1. 关于gdbt和xgboost的算法的讲解 找到一份关于大牛share的PPT——GBDT算法原理，这个文档将gdbt与xgboost进行了对比和讲解。文章内容讲了“泰勒公式”、两个最优化算法“梯度下降法”和“牛顿法”、“参数空间到函数空间”以及两个优化算法对应的gdbt和xgboost的原理。 * 首先是“泰勒公式”，这是本科高数的重点内容也是考研的重点内容不过针对我这等学渣学的也是十分费劲，在这里又好好复习了一番。官方的定义是“泰勒公式是用一个函数在某点的信息来描述其附近取值的公式”,可以理解为一个函数在某点的展开，这个展开式中有函数对该点零阶一直到n阶的计算。具体公式截图如下：