如何计算连续特征的信息增益
如果我没有任何离散值，因此我首先需要将这些点离散为区间，那么在为信息增益找到正确的参数方面，我有问题。
我拥有的：
我在做图像处理，我的特征可能在0-255范围内。使用一些培训数据，我可以定义一些间隔(只定义“是对象或不是对象”)。如果goods是匹配点的间隔数，并且bads被标记为它的环境。我用这种方法计算
本案的信息增益：
哪里
[](https://chart.googleapis.com/chart?cht=tx&chl=Entropy(p%29=-log(p%29p)
结果与idea
由于某些原因，我最终得到了一个负 IG，这是一个安静的废话，但我没有看到错误。另一个想法是，不要计算good的对象匹配间隔，而是在good中计算适合任何良好间隔的样本。
有什么主意吗？
回答 1
Stack Overflow用户
发布于 2015-12-12 10:18:24
我看不出像(或P和Q)分布之前和之后那里有什么。
你有改变什么东西从一种情况到另一种情况吗？还不清楚。
看看What is "entropy and information gain"?
good+bad似乎代表了整个发行版。
所以你需要有一些改变，从一个(好的，坏的)到另一个(好的，坏的)。
然后正确地应用公式--或者遵循下面的示例
你的公式好像搞砸了。
https://stackoverflow.com/questions/34233168
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号