决策树学习

题目如下：
下表是一个顾客买车意向的训练集，画出决策树

计算如下：

• 首先计算最大信息熵： 对buy而言，共10个数据，其中yes为6个，no为4个，则最大信息熵为Entropy(D)=- * log2 – * log2 = 0.9710
• 在计算每个属性的熵，对于age，有三种取值（<30、30~60、>60）,对于<30有4个，则占，而在这四个中，为yes有2个，no有2个，即属性age得到的熵为
  Enlogtropy(age)=(- log2 – log2 ) + (- log2 )+(- log2 – log2 )=0.6755
• age的信息增益为：InfGain(age)=Entropy(D)-Entropy(age)=0.2955
• 类似的可以算出income、health的信息增益为InfGain(income)=0.1246，InfGain(income)=0.1246
• 由于InfGain(age)最大，则age为根节点
  
• 由于age1中30~60的样本都属于同一个类，因此该分支节点为一个叶节点
• 然后对income、health进行选择，创建分支（方法同上），直至分支节点全部为叶节点。

最终结果如下

神经学习

引入

1、直接当作误差包含在节点之中

把我们的方程进行偏码，形成一个小图形。

2、把偏执单元作为输入节点（更常见）

3、激活函数

贝叶斯学习

朴素贝叶斯分类算法

题目如下：
购买计算机实例的数据集如下，现在要判断Z=（age<=30，income=medium，student=yes，cradit_rating=fair）的buys_computer的可能值

第一步：
		在buys_compter中我们假设yes为C1，no为C2
 		则有p(C1)=9/14，p(C2)=5/14
第二步：
		我们假设age为Z1，income为Z2，student为Z3，cradit_rating为Z4
		则p(Z1|C1)=2/9，p(Z2|C1)=4/9，p(Z3|C1)=6/9，p(Z4|C1)=6/9
		p(Z1|C2)=3/5，p(Z2|C2)=2/5，p(Z3|C2)=1/5，p(Z4|C2)=2/5
第三步：
		计算p(buys_compte)p(age、income、student、cradit_rating|cradit_rating)
		p(C1)p(Z1,Z2,Z3,Z4|C1)=p(C1)p(Z1|C1)p(Z2|C1)p(Z3|C1)p(Z4|C1)
		即p(C1)p(Z1,Z2,Z3,Z4|C1)=0.0276，p(C2)p(Z1,Z2,Z3,Z4|C2)=0.0068
第四步：
		由于公式p(B|A)=p(A)p(A|B) / p(A) 由于表中的数据时固定的，则分母固定，即只需比较分子的大小。
		由于p(C1)p(Z1,Z2,Z3,Z4|C1)=0.0276 > p(C2)p(Z1,Z2,Z3,Z4|C2)=0.0068
		则预测buys_compter为yes

对于P(Zi|C1)，i=1,2,3,4计算如下，例P(Z1|C1)=p(Z1 C1)/p(C1)中，
p(C1)已知，对p(Z1)为在age<=30时buys_computer=yes的概率
在表中易得age<=30时buys_computer=yes的个数为2，共14条数据
则p(Z1)=2/14，即p(Z1|C1)=p(Z1 C1)/p(C1)=2/14 / 9/14 =2/9