1、C4.5
机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。
从数据产生决策树的机器学习技术叫做决策树学习,通俗说就是决策树。
决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，他由他的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。
决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。
决策树是如何工作的
决策树一般都是自上而下的来生成的。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：
1)通过该节点的记录数
2)如果是叶子节点的话，分类的路径
3)对叶子节点正确分类的比例。
有些规则的效果可以比其他的一些规则要好。
由于
C4.5
1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；
2)在树构造过程中进行剪枝；
3)能够完成对连续属性的离散化处理；
4)能够对不完整数据进行处理。
C4.5
来自搜索的其他内容：
C4.5
分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树.
决策树的各部分是:
根
枝
叶
§4.3.2ID3算法
1.概念提取算法CLS
1)
2)IFC
节点
ELSE
判定节点
划分
3)
2.ID3算法
1)
2)
3)
4)
5)
启发式标准:
只跟本身与其子树有关
熵是选择事件时选择自由度的量度,其计算方法为
P=freq(Cj,S)/|S|;
INFO(S)=-SUM(P*LOG(P));SUM()
Gain(X)=Info(X)-Infox(X);
Infox(X)=SUM((|Ti|/|T|)*Info(X);
为保证生成的决策树最小
§4.3.3:ID3算法对数据的要求
1.所有属性必须为离散量.
2.所有的训练例的所有属性必须有一个明确的值.
3.相同的因素必须得到相同的结论且训练例必须唯一.
§
1.
Split_Infox(X)=-SUM((|T|/|Ti|)*LOG(|Ti|/|T|));
Gainratio(X)=Gain(X)/SplitInfox(X);
2.在输入数据上的改进.
1)
因素属性的值可以是连续量
2)
3.
2、Thek-meansalgorithm
k-meansalgorithm
假设有
劳埃德算法和
虽然存在变异，但是劳埃德算法仍旧保持流行，因为它在实际中收敛非常快。实际上，观察发现迭代次数远远少于点的数量。然而最近，
近似的k平均算法已经被设计用于原始数据子集的计算。
切忌贪婪，恨不得一次玩遍所有传说中的好景点，
