一、 线性可分（Linear Separable）

• 如图，假设特征空间是二维的，每个训练样本分布在如图所示的特征空间中；
• 二分类问题；
• 这个训练样本集是线性可分的，也就是说有一条直线可以把○和×分开；
• 当特征空间为二维时，划分○和×是一条直线；
• 当特征空间为三维时，分割○和×是平面；
• 在特征空间是大于等于四维时，分割○，×为超平面（Hyperplane）；
• 由于人眼对空间的感知仅限于三个维度，我们无法直观地画图。在四维及以上的情况下，表示线性可分和线性不可分。这时候，我们用数学；

二、线性不可分（NonLinear Separable）

线性不可分是指不存在可以将训练样本集（不同类别）分开的直线；

3.在这个例子的基础上，用数学来理解线性可分和线性不可分

• x1， x2 表示两个维度；
• 同时假设在特征空间上分布着一些训练样本，两个类别 ○（c1表示）与 ×（c2表示）；
• 在这个二维特征空间中，○和×的分布如上图；
• 我们可以用这个求一条直线，如图，分开○和×；
• 上面的设置都被认为是指定的，也可以是这样的；

1. 用数学严格定义训练样本以及他们的标签

• 线性可分的严格定义：一个训练样本集{(X1, y1), … , (XN, yN)}，在 i = 1 ~ N线性可分，是指存在（w1, w2, b）,使得对i = 1 ~ N,有：
  

2. 用向量形式来定义线性可分

• 若yi = +1 或 -1，一个训练样本集{（Xi, yi）}, 在i = 1 ~ N线性可分，是指存在（w, b）,使得对i = 1 ~ N ，有：