使用贝叶斯超参数调整有效优化您的回归模型
使用贝叶斯超参数调整回归模型
学习如何有效地优化超参数，并防止为XGBoost、CatBoost和LightBoost创建过训练的模型
近年来，XGBoost、CatBoost和LightBoost等梯度提升技术在分类和回归任务中变得非常流行。该过程的重要部分是调整超参数以获得最佳的模型性能。关键是优化超参数搜索空间，同时找到一个能够在新的未见数据上进行泛化的模型。在本文中，我将演示如何使用贝叶斯优化学习具有优化超参数的提升决策树回归模型，以及如何选择一个能够泛化（而不是过训练）的模型，以及如何解释和可视化解释优化的超参数空间以及模型性能准确性。HGBoost库非常适合这个任务，它执行双循环交叉验证以防止过训练。
简要介绍。
梯度提升算法，如极端梯度提升（XGBoost）、轻量级梯度提升（LightBoost）和CatBoost，是强大的集成机器学习算法，用于预测建模（分类和回归任务），可以应用于表格、连续和混合形式的数据集[1,2,3 ]。在这里，我将重点关注回归任务。在接下来的章节中，我们将使用双循环交叉验证循环训练一个提升决策树模型。我们将仔细划分数据集，设置搜索空间，并使用Hyperopt库执行贝叶斯优化。训练模型后，我们可以通过创建有深度的图表更深入地解释结果。
如果您对这些概念需要更多背景知识或不太熟悉，我建议阅读这篇博客：
使用贝叶斯超参数调整找到最佳提升模型的指南，但不使用…
提升决策树算法可能优于其他模型，但过拟合是一个真正的危险。使用…
towardsdatascience.com
