- 综合排序
- 最热优先
- 最新优先
- 来自专栏小小程序员——DATA
决策树 C4.5算法
C4.5算法 C4.5算法 C4.5 算法是 Ross 对ID3 算法的改进 用信息增益率来选择属性。 ID3选择属性用的是子树的信息增益而C4.5用的是信息增益率 在决策树构造过程中进行剪枝 对非离散数据也能处理 能够对不完整数据进行处理 信息增益比（C4.5） g_{R}(D, A)=\frac{g( C4.5 采用的悲观剪枝方法，用递归的方式从低往上针对每一个非叶子节点，评估用一个最佳叶子节点去代替这课子树是否有益。如果剪枝后与剪枝前相比其错误率是保持或者下降，则这棵子树就可以被替换掉。 C4.5 通过训练数据集上的错误分类数量来估算未知样本上的错误率 后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树 C4.5算法的缺点 C4.5 用的是多又树，用二又树效率更高 C4.5 只能用于分类 C4.5 使用的焰模型拥有大量耗时的对数运算，连续值还有排序运算C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时
60210编辑于 2023-12-06 - 来自专栏智能算法
决策树算法之----C4.5
C4.5算法简介 C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。 C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。 C4.5由J.Ross Quinlan在ID3的基础上提出的。 从ID3算法中衍生出了C4.5和CART两种算法，这两种算法在数据挖掘中都非常重要。下图就是一棵典型的C4.5算法对数据集产生的决策树。 图2 在数据集上通过C4.5生成的决策树 2. 算法描述 C4.5并不一个算法，而是一组算法—C4.5，非剪枝C4.5和C4.5规则。 下图中的伪代码将给出C4.5的基本工作流程： ?
1.9K120发布于 2018-04-03 - 来自专栏小小程序员——DATA
Numpy 实现C4.5决策树
C4.5 信息增益比实现决策树 信息增益比 g_{R}(D, A)=\frac{g(D, A)}{H(D)} 其中， g(D,A) 是信息增益， H(D) 是数据集 D 的熵 代码实现 import numpy
44010编辑于 2023-12-08 - 来自专栏企鹅号快讯
详解决策树 C4.5 算法
决策树算法包括了由Quinlan提出的ID3与C4.5，Breiman等提出的CART。其中，C4.5是基于ID3的，对分裂属性的目标函数做出了改进。 为了解决这个问题，CART算法提出了只进行特征的二元分裂，即决策树是一棵二叉树；C4.5算法改进分裂目标函数，用信息增益比（information gain ratio）来选择特征： 因而，特征选择的过程等同于计算每个特征的信息增益 C4.5算法流程与ID3相类似，只不过将信息增益改为信息增益比。 剪枝策略 为了解决过拟合，C4.5通过剪枝以减少模型的复杂度。
2.5K60发布于 2018-02-07 - 来自专栏机器学习与统计学
决策树（Decision Tree）C4.5算法
既然说C4.5算法是ID3的改进算法，那么C4.5相比于ID3改进的地方有哪些呢？： 用信息增益率来选择属性。 因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。 C4.5算法之信息增益率 OK，既然上文中提到C4.5用的是信息增益率，那增益率的具体是如何定义的呢？ ： 是的，在这里，C4.5算法不再是通过信息增益来选择决策属性。一个可以选择的度量标准是增益比率gain ratio（Quinlan 1986）。 下面以ID3相同的weather数据集（全部为分类属性）为例，分析C4.5构建决策树的详细过程。 ? C4.5采用悲观剪枝法，它使用训练集生成决策树又用它来进行剪枝，不需要独立的剪枝集。
2K50发布于 2019-04-08 - 来自专栏数据指象
ID3、C4.5、CART算法对比
算法 英文 中文名称 时间/提出人 ID3 Iterative Dichotomiser 3 迭代二分法3 1975/J.Ross Quinlan C4.5 Classifier 4.5 分类器 4.5 C4.5的核心算的是 信息增益比率。 CART核心算法通过基尼系数代替信息增益算法。 3，所长必有所短 算法 处理数据英型 树的结构 特点 预测类型 ID3 分类变量 多叉树 偏向多值属性 分类 C4.5 分类变量和连续变量 多叉树 偏向少值属性 分类 CART 分类变量和连续变量 二叉树
1.1K10编辑于 2022-04-27 - 来自专栏机器学习算法与Python学习
Machine learning -- C4.5算法详解及Python实现
C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。 C4.5由J.Ross Quinlan在ID3的基础上提出的。 从ID3算法中衍生出了C4.5和CART两种算法，这两种算法在数据挖掘中都非常重要。下图就是一棵典型的C4.5算法对数据集产生的决策树。 图2 在数据集上通过C4.5生成的决策树 算法描述 C4.5并不一个算法，而是一组算法—C4.5，非剪枝C4.5和C4.5规则。下图中的算法将给出C4.5的基本工作流程： ? C4.5采用悲观剪枝法，它使用训练集生成决策树又用它来进行剪枝，不需要独立的剪枝集。 c4.5算法计算的流程框图 ?
3K80发布于 2018-04-04 - 来自专栏学习
【机器学习】ID3、C4.5、CART 算法
C4.5 C4.5是ID3的改进版，使用信息增益比替代信息增益作为特征选择标准，从而克服了ID3倾向于选择多值特征的缺点。此外，C4.5还能处理连续型特征和缺失值。 实现C4.5算法可以通过多种编程语言，但这里我将提供一个简化的Python实现，使用Python的基本库来构建决策树。这个实现将包括计算信息熵、信息增益、信息增益比，并基于这些度量来构建决策树。 构建决策树 使用以上计算方法，我们可以构建一个简单的C4.5决策树： import numpy as np import pandas as pd def entropy(target_col):
69610编辑于 2024-09-29 - 来自专栏谓之小一
机器学习之决策树(C4.5算法)
2.C4.5算法 上古之神赐予你智慧：C4.5是一系列用在机器学习和数据挖掘中分类问题的算法，它的目标是监督学习。 C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能够用于对新的类别未知的实体进行分类。 C4.5是在ID3的基础上提出的。ID3算法用来构造决策树。 但是我们假设这种情况，每个属性中每个类别都只有一个样本，那这样属性信息熵就等于0，根据信息增益就无法选择出有效分类特征，所以C4.5算法选择使用信息增益率对ID3进行改进。 C4.5采用悲观剪枝法，它使用训练集生成决策树，然后对生成的决策树进行剪枝，通过对比剪枝前后分类错误率来验证是否进行剪枝。 load_iris from sklearn import tree #引入数据 iris=load_iris() X=iris.data y=iris.target #训练数据和模型,采用ID3或C4.5
5.2K20发布于 2019-08-14 - 来自专栏个人分享
C4.5决策树算法概念学习
C4.5算法应该解决的问题有哪些呢？ 一、如何选择测试属性构造决策树? 二、对于连续变量决策树中的测试是怎样的呢？ 三、如何选择处理连续变量（阈值）？ 四、如何终止树的增长？ •很明显，我们看到这个例子中对于连续变量，所有连续变量的测试分支都是2条，因此在C4.5算法中，连续变量的分支总是两条，分支其测试分支分别对应着{<=θ,>θ}，θ对应着分支阈值，但是这个θ怎么确定呢？ 借鉴于:大数据经典算法c4.5讲解
79520发布于 2018-09-06 - 来自专栏cloudskyme
跟我一起数据挖掘（23）——C4.5
C4.5简介 C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。 由于ID3算法在实际应用中存在一些问题，于是Quinlan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。 此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。 C4.5的分类器示意图 我们以一个很典型被引用过多次的训练数据集D为例，来说明C4.5算法如何计算信息增益并选择决策结点。 ? 由其中四个属性来决定是否进行活动还是取消活动。 C4.5的优缺点及算法流程 C4.5算法的优点是：产生的分类规则易于理解，准确率较高。 C4.5算法的缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
69190发布于 2018-03-20 - 来自专栏机器学习AI算法工程
机器学习算法-决策树C4.5练习
在ID3算法的基础上，1993年Quinlan又提出了C4.5算法。 本文实现了C4.5的算法，在ID3的基础上计算信息增益，从而更加准确的反应信息量。其实通俗的说就是构建一棵加权的最短路径Haffman树，让权值最大的节点为父节点。 C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足，公式为GainRatio(A)； C4.5算法与其它分类算法如统计方法、神经网络等比较起来有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。 ? 实现的C4.5数据集合如下： ? 它记录了再不同的天气状况下，是否出去觅食的数据。
1.3K60发布于 2018-03-12 - 来自专栏人工智能
C4.5决策树及CART决策树
学习目标 了解信息增益率的计算公式 知道ID3 和 C4.5决策树的优缺点 了解基尼指数的计算公式 了解基尼指数对于不同特征的计算方式 了解回归决策树的构建原理 1. ，但这里的属性并不一定是最优的 C4.5算法的核心思想是ID3算法，对ID3算法进行了相应的改进。 C4.5使用的是信息增益比来选择特征，克服了ID3的不足。 C4.5只适合于能够驻留内存的数据集，当数据集非常大时，程序无法运行 无论是ID3还是C4.5最好在小数据集上使用，当特征取值很多时最好使用C4.5算法 4. 基尼指数计算公式 信息增益（ID3）、信息增益率值越大（C4.5），则说明优先选择该特征。 基尼指数值越小（cart），则说明优先选择该特征。 6.
65210编辑于 2024-07-30 - 来自专栏机器学习入门与实战
决策树算法：ID3，C4.5，CART
什么是决策树 1.1 决策树的基本思想 1.2 “树”的成长过程 1.3 "树"怎么长 1.3.1 ID3算法 1.3.2 C4.5 1.3.3 CART算法 1.3.4 三种不同的决策树 2. 为了解决这个问题，引出了另一个 算法C4.5。 1.3.2 C4.5 为了解决信息增益的问题，引入一个信息增益率： ? 属性a的可能取值数目越多(即V越大)，则IV(a)的值通常就越大。 C4.5：采用信息增益率替代信息增益。 CART：以基尼系数替代熵，最小化不纯度，而不是最大化信息增益。 2. 树形结构为什么不需要归一化? 因为数值缩放不影响分裂点位置，对树模型的结构不造成影响。
1.6K10发布于 2019-11-20 - 来自专栏计算机工具
决策树算法：ID3，C4.5，CART
C4.5 C4.5 算法最大的特点是克服了 ID3 对特征数目的偏重这一缺点，引入信息增益率来作为分类标准。 2.4 缺点 剪枝策略可以再优化； C4.5 用的是多叉树，用二叉树效率更高； C4.5 只能用于分类； C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算； C4.5 CART 在 C4.5 的基础上进行了很多提升。 超详细决策树算法解析—ID3、C4.5、CART 总结 最后通过总结的方式对比下 ID3、C4.5 和 CART 三者之间的差异。 ，C4.5 和 CART 可以处理连续性数据且有多种方式处理缺失值；从样本量考虑的话，小样本建议 C4.5、大样本建议 CART。
91610编辑于 2024-12-14 - 来自专栏阿黎逸阳的代码
决策树-ID3算法和C4.5算法
二、C4.5算法详解 对于之前讲到的ID3算法，存在四个主要不足：一是信息增益准则对取值类别较多的特征有所偏好，二是不能处理连续特征，三是没有考虑缺失值处理，四是过拟合。 昆兰在C4.5算法中改进了这四个问题。 1 第一个问题的改进办法 对于第一个问题，C4.5算法采用信息增益率，做为变量的最终筛选标准。 C4.5的思想是将连续特征离散化。 比如一个集合中有n个样本，m个特征，m个特征中有一个连续特征A。特征A有n个取值，从小到大排列为a1,a2,...,an。 对于第四个问题，C4.5引入了正则化系数进行初步剪枝，等到讲CART树剪枝时对比进行阐述。 虽然C4.5算法对ID3算法的几个主要问题进行了改进，但是仍然有优化的空间。 比如C4.5算法只能用于分类，不能用于回归。C4.5使用了熵模型，里面有大量的对数运算，非常耗时。 这些问题在CART树里进行了改进。 接下来会重点整理CART树相关知识点，敬请期待。
1.4K20发布于 2020-09-08 - 来自专栏老秦求学
决策树(ID3,C4.5,CART)原理以及实现
目前常用的决策树算法有ID3, C4.5 和CART. 不同的决策树算法采用不同的衡量指标.比如说,ID3采用信息增益,C4.5采用信息增益比率,CART分类回归树当用于分类时,采用Gini指数,用于回归问题时采用均方差差[计算划分之前的均方差,划分之后的均方差
1.1K10发布于 2018-12-17 - 来自专栏数据和云
Thinking in SQL系列之数据挖掘C4.5决策树算法
Mail:10867910@qq.com C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。 C4.5的目标是通过学习，积累经验，为后续决策服务。 该算法目前能找到各类版本，C、JAVA、PYTHON。 而SQL版本闻所未闻，前篇我有提过，数据处理，SQL为王，如何以SQL的思维来实现C4.5决策树算法是本篇的重点。 C4.5的核心是分裂规则，因为它们决定给定节点上的元组如何分裂。 接下来以一个很典型被引用过多次的训练数据集D为例，来说明C4.5算法如何通过分裂规则来选择决策结点。 SQL，抽象成一段动态SQL与待绑定变量，执行构造后的SQL返回，详见如下脚本与注释： CREATE OR REPLACE FUNCTION FUN_DATA_MINING_C45_SPLIT( --C4.5
1.7K60发布于 2018-03-07 - 来自专栏Python数据科学
决策树学习笔记（二）：剪枝，ID3，C4.5
决策树经典有三种常用的算法有：ID3，C4.5，CART。在对每个算法深入介绍之前，我们先从总体了解一下这几个算法的功能。 ? ▍决策树算法：C4.5 ID3算法有很多局限性，Quinlan针对这些局限性给出了ID3的一个扩展算法：即C4.5算法。 C4.5是ID3算法的改进版本，针对四个主要的不足进行改进： 不能处理连续特征 用信息增益作为标准容易偏向于取值较多的特征 不能处理缺失值 容易发生过拟合问题 不能处理连续特征：C4.5的思路是将连续的特征离散化 容易发生过拟合问题：C4.5引入了正则化系数进行初步的剪枝。剪枝参考前面解释部分。 ▍总结 本篇介绍了决策树的生成，剪枝两个步骤，然后介绍了前两种算法ID3，C4.5。
2.7K20发布于 2019-07-22 - 来自专栏木东居士的专栏
决策树4：构建算法之ID3、C4.5
0x04 C4.5算法 C4.5算法是数据挖掘十大算法之一，它是对ID3算法的改进，相对于ID3算法主要有以下几个改进 用信息增益比来选择属性 在决策树的构造过程中对树进行剪枝 对非离散数据也能处理 能够对不完整数据进行处理 C4.5算法与ID3算法过程相似，仅在特征选择时，使用信息增益比作为特征选择准则。 二、C4.5： C4.5 克服了 ID3 仅仅能够处理离散属性的问题，以及信息增益偏向选择取值较多特征的问题，使用信息增益比来选择特征。 C4.5 处理连续特征是先将特征取值排序，以连续两个值中间值作为划分标准。尝试每一种划分，并计算修正后的信息增益，选择信息增益最大的分裂点作为该属性的分裂点。
1.1K10发布于 2019-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号