为什么需要数据挖掘

通过观察概率表来发现数据之间的规律 但是当数据的规模大了，属性多了，决定规律的属性多了，我们就有会得到很多概率表，发现数据之间的概率的困难程度大大地增高了。

决定一个模式是不是有用的，我们用信息熵来度量

决策树先去判断哪个模式，就要看哪个模式的信息熵高，然后再找第二个模式，这样递归找下去，直到剩下的分类完全一样，那个属性就是决策树的一个终止节点。

more ...