ThunderGBM：快成一道闪电的梯度提升决策树 机器之心报道 参与：淑婷、思源 想在 GPU 上使用使用闪电般快速的提升方法？了解这个库就好了。在很多任务上，它都比 LightGBM 和 XGBoost 快。 尽管近年来神经网络复兴并大为流行，但提升算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。目前代表性的提升方法有 CatBoost、Light GBM 和 XGBoost 等，本文介绍一项新的开源工作，它构建了另一种基于 GPU 的极速梯度提升决策树和随机森林算法。 项目地址：https://github.com/Xtra-Computing/thundergbm 那么我们为什么加速 GBDT 和随机森林？2017 年，一份 Kaggle 调查显示，数据挖掘和机器学习从业者中分别有 50%、46% 和 24% 的人使用决策树、随机森林和 GBM。GBDT 和随机森林经常被用来创建当前最佳的数据科学解决方案，这就要求我们能使用 GPU 在大型数据集上完成高效训练。 两棵决策树的集成方法，选自 XGBoost 文档。 尽管 XGBoost 等库已经支持 GPU 了，但毕竟不是一开始就为 GPU 而设计的，因此在优化和加速上会有一些瑕疵。而 ThunderGBM 旨在帮助用户轻松高效地应用 GBDT 和随机森林来解决问题，它可以利用 GPU 完成高效训练。 对于 GPU 而言，ThunderGBM 在很多任务上都比其它几个库要快。 ThunderGBM 的主要特征如下： 通常是其它库的 10 倍。 支持 Python（scikit-learn）接口。 支持操作系统 Linux。 支持分类、回归和排序。 ThunderGBM 预测和训练的整体流程。 ThunderGBM 主要作者包括新加坡国立大学的 Zeyi Wen 和 Qinbin Li、华南理工大学的 Jiashuai Shi 等，指导教师为 NUS 的 Bingsheng He。 入门指南 ThunderGBM 要求开发环境满足 cmake 2.8 或更高版本；对于 Linux，使用 gcc 4.8 或更高版本；C++boost； CUDA 8 或更高版本。 下载： gitclonehttps://github.com/zeyiwen/thundergbm.git cdthundergbm #underthedirectoryofthundergbm gitsubmoduleinitcubgitsubmoduleupdate 在 Linux 上构建： #underthedirectoryofthundergbm mkdirbuildcdbuildcmake..make-j 快速测试： ./bin/thundergbm-train../dataset/machine.conf ./bin/thundergbm-predict../dataset/machine.conf 成功运行后，你将看到 RMSE = 0.489562。 相关研究 如果读者对实现的技术及模型细节感兴趣，可以查阅原论文： 论文地址：https://www.comp.nus.edu.sg/~wenzy/papers/thundergbm.pdf 其它相关文献： 论文：Efficient Gradient Boosted Decision Tree Training on GPUs 作者：Zeyi Wen, Bingsheng He, Kotagiri Ramamohanarao, Shengliang Lu, and Jiashuai Shi 地址：https://www.comp.nus.edu.sg/~hebs/pub/IPDPS18-GPUGBDT.pdf 本文为机器之心报道，转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com 投稿或寻求报道：content@jiqizhixin.com 广告 & 商务合作：bd@jiqizhixin.com