决策树是如何解决回归问题的?
决策树如何解决回归问题?' (Decision Trees How do they solve regression problems?)
从头开始构建自己的决策树回归器(使用Python)并揭示内部机制
在本文中,我将通过一个简单的例子、流程图和代码演示决策树回归器(也称为回归树)背后的整个逻辑。阅读完成后,您将能够清楚了解回归树的工作原理,并在下一个回归问题中更加周到和自信地使用和调优它们。
我们将涵盖以下内容:
- 关于决策树的精彩介绍
- 生成一个玩具数据集来训练我们的回归树
- 以流程图的形式概述回归树的逻辑
- 参考流程图,使用NumPy和Pandas编写代码并进行第一次分割
- 使用Plotly可视化第一次分割后的决策树
- 使用递归泛化代码来构建整个回归树
- 使用scikit-learn执行相同的任务并比较结果(剧透:您会为能够产生与scikit-learn相同的输出而感到自豪!)
介绍
决策树是机器学习算法,可用于解决分类和回归问题。尽管分类和回归在本质上有所不同,但决策树以一种优雅的方式尝试解决这两个问题,其最终目标是找到给定节点的最佳分割点。而如何确定最佳分割点则是分类树和回归树之间的区别所在。
在我之前的文章中,我介绍了决策树如何解决分类问题的基础知识。我使用了一个二分类数据集,逐步演示了如何使用数据不纯度度量(例如熵)在每个节点生成决策规则的过程,然后使用递归算法在Python中输出最终的决策树。不确定是否应该将这篇文章添加到阅读列表中吗?让我们决定是否阅读吧…


