模式识别中利用二型势函数法求解非线性分类器的原理以及python代码实现

前言

实验目的

(1)了解非线性可分的概念。
(2)掌握利用势函数法设计非线性分类器的方法。

实验原理

原理图示来自西安邮电大学模式识别实验课教案

知识补充

Ⅱ型势函数：直接选择双变量X和Xk的对称函数作为势函数，即：K(X,Xk)=K(Xk,X)
如：

我们本次实验使用的是3-66算子来进行实验

当α取1的时候：
K(X,Xk)=exp{-||X-Xk||²}=exp{-[(X1-Xk1)²+(X2-Xk2)²]}

二型势函数的特点： 当训练样本的维数和数目较高时，需要计算和存储更多的指数项，但正因为判别函数由许多新项组成，故有很强的分类能力。

例题说明

代码实现

#在自己的代码使用过程中需要改掉x_1和x_2的列表数值就可以来进行使用 

import matplotlib.pyplot as plt
import math
import sympy as sym
# def shihanshu(k,n,q):
#     return k.evalf(subs = {x1:n,x2:p})
x_1=[[0,0],[2,0]]
x_2=[[1,1],[1,-1]]
for i in range(len(x_1)):
    plt.scatter(x_1[i][0],x_1[i][1],color=plt.cm.Set1(0))
    plt.scatter(x_2[i][0],x_2[i][1],color=plt.cm.Set1(1))
p=1#代表符号变量
x1,x2=sym.symbols("x1:3")#未知数x1和x2
r=0*x1+0*x2#用来保证第一步计算的时候有数值未知数的值可以放进去且为0相当于强制进行了
      
while p==1:
    p=0
    for i in range(len(x_1)):
        t=r.evalf(subs = {x1:x_1[i][0],x2:x_1[i][1]})
        if t<=0:
            r=r+sym.exp(-((x1-x_1[i][0])**2+(x2-x_1[i][1])**2))
            p=1
    for i in range(len(x_2)):
        t=r.evalf(subs = {x1:x_2[i][0],x2:x_2[i][1]})
        if t>=0:
            r=r-sym.exp(-((x1-x_2[i][0])**2+(x2-x_2[i][1])**2))
            p=1
r

#在这一个实验中我反反复复的检查发现实验过程中在回调函数上面出现了问题，在进行函数回调时，当我们传入的未知参数
#每个如果只出现一次时也就是x,y只出现一次，后面没有再出现时计算的数值没有错误，如果出现超过一次时那么会导致函数的回调值与理想计算值不符合
        

另外再附上matlab代码示例：

程序运行结果：

数学迭代步骤

改写过程学到的知识

• 自己debug能力的提升，不断根据错误数据调整，并且发现库文件的一个小bug

• sympy数学表达式库函数的学习
  sym.exp（）：数学形式的指数函数表达式
  sym.evalf(subs = {x1:x_2[i][0],x2:x_2[i][1]}):数学上进行赋值的函数
  x1,x2=sym.symbols(“x1:3”)#未知数x1和x2

• plt.scatter（x_1[i][0],x_1[i][1],color=plt.cm.Set1(0)）绘图函数的学习
  
  这个是plt.cm.Set1()的八个对应数值颜色的图示，超过序号8的那么就默认为最后的黑色