决策树python源码（决策树Python实现）
本文目录一览：
python怎么学习？
学习Python编程技术的流程与步骤，自学与参加培训学习都适用。
一、清楚学习目标
无论是学习什么知识，都要有一个对学习目标的清楚认识。只有这样才能朝着目标持续前进，少走弯路，从学习中得到不断的提升，享受python学习计划的过程。
虽然目前的编程语言有很多，但是基础语法上的概念，本质上都是相通的。可以做到一通百通。所以没有必要为了学哪门语言纠结太多。
python是目前市面上，我个人认为是最简洁最优雅最有钱途最全能的编程语言，没有之一。所以既然你决定了要学习python，那么就需要先下一个决心，至少决定要作为自己的主力语言。
python是全能语言，社区庞大，有太多的库和框架。你只需要找到合适的工具来实现想法，省去了造轮子的精力。
coder可以写尽可能少的代码来实现同等的功能。“人生苦短，我用python”是至理名言。
如果实现一个中等业务复杂度的项目，在相同的时间要求内，用java实现要4-5个码农的话，用python实现也许只需要1个。这就是python最大的优势了。
二、基本python 知识学习
1. 了解Python是什么，都能做些什么？
2. 知道什么是变量、算法、解释器
3. Python基本数据类型
4. 列表和元组的操作方法
5. 字符串操作方法
6. 基本的字典操作方法
以上这些可以略微掌握之后就进行下一步，遇到忘记不会的可以再参考一下书和笔记。
虽然看书学编辑是效率最低的事情。且不说书的内容基本过时。就是比较较的翻译也很晦涩，照书写了代码跑不通，不断报错。是很打击学习积极性的。
不过，介绍语法的基础书，还是可以买一本，作为手册查阅之用。这类基础书籍买一本就好，找个周末休息时间，一天便可看完。
三、掌握Python的条件、循环和相关的执行语句
任何知识它的基础知识都是有些枯燥的，现在我们就可以动手来做一些逻辑层面的东西了。掌握 if、else、elif、while、for、continue、break和列表推导式等这些语句的使用，还有程序中的异常处理。
四、面对对象知识
面对对象OOP，更高层次的Python程序结构，代码的重用避免代码冗余，打包你的代码，函数的参数、作用域等。
类，可以帮助我们减少大量的开发时间，提高编程的效率，对中大型项目十分关键。
五、项目实践
在这个阶段，一定要多动手实践，查找和处理过程中遇到的错误和异常，遇到问题多上网搜索，也可以参考公众号内的一些文章，或者加上咱们文章下方的老师领取合适的项目实例。
在成功的解决了这些问题之后，会有一种很大的成就感，这样一个良性循环，才是你学习Python这类程序语言的最大动力。
以上是小姐姐总结学习Python的步骤和流程。当然参加我们的Python培训课程，可以更快速、系统全面地掌握Python的各种知识。通过课后习题，让大家动手动脑的参与，课后问题解答会让你茅塞顿开。
培训班还会有很多实用的Python项目，从零开始带领大家一块解决项目遇到的问题，避免浪费大量精力和时间。最终让大家可以自行编写想要的各种Python程序。
六：缺点
当然任何一门语言都有缺点，Python也不例外。小姐姐认为学习一门语言不仅需要清楚的知道学习步骤，做到心中有规划。也需要适当的了解一下他的缺点，也是为了更好的掌握、完善。
1、第一个缺点就是运行速度和C程序比要慢很多，因为Python是解释型语言，代码在执行时会一行一行地翻译成CPU能理解的机器码，这个翻译过程非常耗时，所以很慢。
2、第二个缺点就是代码不能加密。如果要发布你的Python程序实际上就是发布源代码，还好我们大部分用python是来写应用程序,给用户提供服务的，用户其实不需要也不关心你的源码。
决策树算法如何将连续值转化为离散值处理，我要Python实现的代码，希望完整一点
切断就行了。。。比如某个特征的值，预期会在1-100之间。。。那么你可以人为的切片，1-10的，就算1。。。
决策树(decisionTree)
决策树(decisionTree)是一种基本的分类和回归方法。此文仅讨论用于分类方法的决策树。
决策树的学习通常分为3步：
决策树的学习的思想主要源于
定义决策树 ：
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点又分为内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。
形如：
其中，圆表示内部结点，方框表示叶结点。
if-then规则，简单来说就是 ：
举例：对于一个苹果，外表是红色的是红苹果，外表是绿色的是青苹果。可以表示为：
if-then规则集合具有一个重要的性质：
这就是说每一个实例都被一条路径或规则覆盖，并且只被一条路径或规则覆盖。这里所谓的覆盖是指实例的特征与路径上的特征一致，或实例满足规则的条件。
给定数据集：
其中， 为输入实例（特征向量），含有 个特征， 为类标记， , 为样本容量。
目标 ：
根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确分类。
特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。
如果我们利用某一个特征进行分类的结果与随机分类的结果没什么很大的差别的话，则称这个特征没有分类能力。
那么问题来了，怎么选择特征呢？
通常特征选择的准则是
下面通过例子来说明一下。
目标 ：
希望通过所给的训练集数据，学习一个贷款申请的决策树。当新的客户提出贷款申请的时候，根据申请人的特征利用决策树决定是否批准贷款申请。
可见这里共有4个特征可供选择。用特征选择的准则是 。接下来介绍 。
：
熵是表示随机变量不确定性的度量。
设 是一个取有限个值的随机变量，其概率分布为
则随机变量 的熵定义为
若 ，则定义 。通常对数取以2为底，或是以 为底，熵的单位分布为比特（bit）或是纳特（nat）。
由上式可知，熵只依赖 的分布，而已 的值无关，则 的熵还可记作 ，即
则从定义可知
当随机变量只取2个值的时候，例如 时， 的分布为
熵为
熵随概率变化的曲线为
当 或 时 ，随机变量完全没有不确定性，当 时 ，熵取值最大，随机变量不确定性最大。
设随机变量 ，其联合概率分布
条件熵 表示在已知随机变量 的条件下随机变量 的不确定性。随机变量 给定条件下随机变量 的条件熵(conditional entropy)，定义为 给定条件下 的条件概率分布的熵对 的数学期望
信息增益
特征 对训练集 的信息增益
根据信息增益准则的特征选择方法：对训练集 ，计算其每个特征的信息增益，并比较大小，选择信息增益最大的特征。
前期定义各个量：
信息增益的算法
输入：训练集 和特征 ；
输出：特征 对训练集 的信息增益
回看刚才的例子，
解 ：
这一次我很无聊的想用一下.csv文件类型。
所以训练数据集部分如下，我存在一个loan.csv文件里了。对.csv文件的各种处理一般由python的pandas模块完成。
第一步，导入相关模块
第二步，读入数据
若是使用jupyter，可以即刻查看一下数据，和数据标签。
可以看出，除了'ID'之外前4个标签 'age', 'work', 'own house', 'Credit conditions'为我们一直在说的特征 ，而最后一个标签'label'是我们所说的类 ，所以要处理一下这些标签，
第三步，计算训练集 的熵 ：
这里会用到pandas的一个统计数据的功能， groupby(by = [列]).groups ，将数据统计成字典的形式，这么说比较抽象，看下图，将我们用pandas读入的data，分为2类， ， Index 表示索引，即第0，1，4，5，6，14（python计数从0开始）个数据的 ，第2，3，7，8，9，10，11，12，13个数据的 .
那么计算训练集 的熵
第四步，计算特征 对数据集 的条件熵
第五步 ，计算信息增益
输入：训练集 和特征 和阈值 ；
输出：决策树
(1) 中所有实例都属于同一类 ，则 为单结点树，并将类 作为该结点的类标记，返回 ；
(2) 若 ，则 为单结点树，并将 中实例数最大的类 作为该结点的类标记，返回 ；
(3)否则，按照上述信息增益的算法，计算 中各个特征对 的信息增益，选择信息增益最大的特征 ；
(4)如果特征 的信息增益小于阈值 ，将置 为单结点树，并将 中实例数最大的类 作为该结点的类标记，返回 ；
(5)否则，对 的每一个可能值 ，依 将 分割为若干非空子集 ，将 中实例数最大的类 作为该结点的类标记，构建子结点，由结点及其子结点构成树 ，返回 ；
(6)对第 个子结点，以 为训练集，以 为特征集，递归的调用步骤(1)~步骤(5)，得到子树 ，返回 。
对上述表的训练集数据，利用ID3算法建立决策树。
解 ：
第一次迭代 ：
【特征：有自己的房子】将数据集 划分为2个子集 （有自己的房子）和 （没有自己的房子），观察一下 和 ：
：
由于 所有实例都属于同一类 ，所以它是一个叶结点，结点的类标记为“是”。
：
对于 则需从特征 中选择新的特征。
第二次迭代 ：
将 看作新的数据集 。【特征：有工作】有2个可能值，划分为2个子集 （有工作）和 （没有工作），观察一下 和 ：
：
由于 所有实例都属于同一类 ，所以它是一个叶结点，结点的类标记为“是”。
：
