我们为什么需要信息增益比,,而不是信息增益?表一 满足什么情况才去玩高尔夫 [1]
Day Temperatrue Outlook Humidity Windy PlayGolf?
07-05 hot sunny high false no
07-06 hot sunny high true no
07-07 hot overcast high false yes
07-09 cool rain normal false yes
07-10 cool overcast normal true yes
07-12 mild sunny high false no
07-14 cool sunny normal false yes
07-15 mild rain normal false yes
07-20 mild sunny normal true yes
07-21 mild overcast high true yes
07-22 hot overcast normal false yes
07-23 mild sunny high true no
07-26 cool sunny normal true no
07-30 mild sunny high false yes
决策树是机器学习中的经典算法,分别由三个经典算法实现:指数(基尼指数)
对于的信息增益和信息增益比有什么区别呢,为什么放着信息增益不用,又要计算一个呢?这就是下面的内容要讨论的。
讨论之前先来几个公式压压惊。
在信息论与概率统计中,熵(entropy)是表示随机变量不确定性的度量[2]。设X的概率分布为
穿越茫茫人海,寻找属于我们的那一份宁静。