Ⅰ. 图像特征提取与描述
0x00 角点特征
图像的特征
大多数人都玩过拼图游戏。首先拿到完整图像的碎片，然后把这些碎片以正确的方式排列起来从而重建这幅图像。如果把拼图游戏的原理写成计算机程序，那计算机就也会玩拼图游戏了。
在拼图时，我们要寻找一些唯一的特征，这些特征要适于被跟踪，容易被比较。我们在一副图像中搜索这样的特征，找到它们，而且也能在其他图像中找到这些特征，然后再把它们拼接到一起。我们的这些能力都是天生的。
那这些特征是什么呢？我们希望这些特征也能被计算机理解。
如果我们深入的观察一些图像并搜索不同的区域，以下图为例：
在图像的上方给出了六个小图。找到这些小图在原始图像中的位置。你能找到多少正确结果呢？
A 和 B 是平面，而且它们的图像中很多地方都存在。很难找到这些小图的准确位置。
C 和 D 也很简单。它们是建筑的边缘。可以找到它们的近似位置，但是准确位置还是很难找到。这是因为：沿着边缘，所有的地方都一样。所以边缘是比平面更好的特征，但是还不够好。
最后 E 和 F 是建筑的一些角点。它们能很容易的被找到。因为在角点的地方，无论你向哪个方向移动小图，结果都会有很大的不同。所以可以把它们当 成一个好的特征。为了更好的理解这个概念我们再举个更简单的例子。
如上图所示，蓝色框中的区域是一个平面很难被找到和跟踪。无论向哪个方向移动蓝色框，都是一样的。
对于黑色框中的区域，它是一个边缘。如果沿垂直方向移动，它会改变。但是如果沿水平方向移动就不会改变。而红色框中的角点，无论你向那个方向移动，得到的结果都不同，这说明它是唯一的。
所以，我们说角点是一个好的图像特征，也就回答了前面的问题。
角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。
角点在三维场景重建运动估计，目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用。
在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。
那我们怎样找到这些角点呢？
接下来我们使用 OpenCV 中的各种算法来查找图像的特征，并对它们进行描述。
0x01 Harris和Shi-Tomas算法
Harris角点检测
原理：
Harris角点检测的思想是通过图像的局部的小窗口观察图像，角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化，如下图所示：
将上述思想转换为数学形式，即将局部窗口向各个方向移动 并计算所有灰度差异的总和，表达式如下：
其中 是局部窗口的图像灰度
角点检测中使 的值最大。利用一阶泰勒展开有：
其中 和
是沿
和
方向的导数，可用sobel算子计算。
推导如下：
M矩阵决定了 的取值，下面我们利用M来求角点，M是lx和Iy的二次项函数，可以表示成椭圆的形状，椭圆的长短半轴由MM的特征值
和
决定，方向由特征矢量决定，如下图所示：
椭圆函数特征值与图像中的角点、直线（边缘）和平面之间的关系如下图所示。
共可分为三种情况：
- 图像中的直线。一个特征值大，另一个特征值小，λ1>>λ2或 λ2>>λ1。椭圆函数值在某一方向上大，在其他方向上小。
- 图像中的平面。两个特征值都小，且近似相等；椭圆函数数值在各个方向上都小。
- 图像中的角点。两个特征值都大，且近似相等，椭圆函数在所有方向都增大
Harris给出的角点计算方法并不需要计算具体的特征值，而是计算一个角点响应值R来判断角点。RR的计算公式为：
式中， 为矩阵M的行列式；
为矩阵M的迹；
为常数，取值范围为0.04~0.06。事实上，特征是隐含在
和
中，因为:
那我们怎么判断角点呢？如下图所示：
- 当R为大数值的正数时是角点
- 当R为大数值的负数时是边界
- 当R为小数是认为是平坦区域
实现
在OpenCV中实现Hariis检测使用的API是：
dst=cv2.cornerHarris(src, blockSize, ksize, k)
参数：
- img：数据类型为 float32 的输入图像。
- blockSize：角点检测中要考虑的邻域大小（指定的全区域的大小）。
- ksize：sobel求导使用的核大小。
- k ：角点检测方程中的自由参数，取值参数为 [0.04，0.06] （默认0.04）。
💎示例：
# 1 读取图像，并转换成灰度图像
img = cv2.imread('chessboard.jpg')
print('img.shape',img.shape)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 2 角点检测
# 2.1 输入图像必须是 float32
gray =np.float32(gray)
# 2.2 最后一个参数在 0.04 到 0.05 之间
dst = cv2.cornerHarris(gray,2,3,0.04)
print ('dst.shape',dst.shape)
# 3 设置阈值，将角点绘制出来，阈值根据图像进行选择
img[dst>0.001*dst.max()]=[0,0,255]
# 4 图像显示
cv2.imshow('dst',img)
cv2.waitKey(0) # 等待时间，毫秒级，0表示按任意键终止
cv2.destroyAllWindows()
Harris角点检测的优缺点
优点：
- 旋转不变性，椭圆转过一定角度但是其形状保持不变（特征值保持不变）
- 对于图像灰度的仿射变化具有部分的不变性，由于仅仅使用了图像的一介导数，对于图像灰度平移变化不变；对于图像灰度尺度变化不变
缺点：
- 对尺度很敏感，不具备几何尺度不变性。
- 提取的角点是像素级的
0x02 Shi-Tomasi角点检测
原理
Shi-Tomasi算法是对Harris角点检测算法的改进，一般会比Harris算法得到更好的角点。
Harris 算法的角点响应函数是将矩阵 M 的行列式值与 M 的迹相减，利用差值判断是否为角点。
后来Shi 和Tomasi 提出改进的方法是，若矩阵M的两个特征值中较小的一个大于阈值，则认为他是角点，即：
如下图所示：
从这幅图中，可以看出来只有当 和
都大于最小值时，才被认为是角点。
在OpenCV中实现Shi-Tomasi角点检测
💬API:
corners = cv2.goodFeaturesToTrack ( image, maxcorners, qualityLevel, minDistance )参数：
- Image: 输入灰度图像
- maxCorners : 获取角点数的数目。
- qualityLevel：该参数指出最低可接受的角点质量水平，在0-1之间。
- minDistance：角点之间最小的欧式距离，避免得到相邻特征点。
返回：
- Corners: 搜索到的角点，在这里所有低于质量水平的角点被排除掉，然后把合格的角点按质量排序，然后将质量较好的角点附近（小于最小欧式距离）的角点删掉，最后找到maxCorners个角点返回。
💎示例：
# 1 读取图像
img = cv2.imread('sun.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 2 角点检测
corners = cv2.goodFeaturesToTrack(gray,1000,0.01,10)
# 3 绘制角点
for i in corners:
x,y = i.ravel()
cv2.circle(img,(x,y),2,(0,0,255),-1)
# 4 图像展示
plt.figure(figsize=(10,8),dpi=100)
plt.imshow(img[:,:,::-1]),plt.title('shi-tomasi')
plt.xticks([]), plt.yticks([])
plt.show()
总结
1. Harris算法
思想：通过图像的局部的小窗口观察图像，角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化。
API: cv2.cornerHarris()
2. Shi-Tomasi算法
对Harris算法的改进，能够更好地检测角点
API: cv2.goodFeatureToTrack()
Ⅱ.SIFT/SURF算法
0x00 SIFT原理
前面两节我们介绍了Harris和Shi-Tomasi角点检测算法，这两种算法具有旋转不变性，但不具有尺度不变性，以下图为例，在左侧小图中可以检测到角点，但是图像被放大后，在使用同样的窗口，就检测不到角点了。
所以，下面我们来介绍一种计算机视觉的算法.
尺度不变特征转换即SIFT (Scale-invariant feature transform)。
它用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
此算法由 David Lowe在1999年所发表，2004年完善总结。应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对等领域。
SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。
SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
基本流程
Lowe将SIFT算法分解为如下四步：
- 尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯差分函数来识别潜在的对于尺度和旋转不变的关键点。
- 关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
- 关键点方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而保证了对于这些变换的不变性。
- 关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度作为关键点的描述符，它允许比较大的局部形状的变形或光照变化。
我们就沿着Lowe的步骤，对SIFT算法的实现过程进行介绍：
尺度空间极值检测
在不同的尺度空间是不能使用相同的窗口检测极值点，对小的关键点使用小的窗口，对大的关键点使用大的窗口，为了达到上述目的，我们使用尺度空间滤波器。
一个图像的尺度空间 ，定义为原始图像
与一个可变尺度的2维高斯函数
卷积运算 ，即：
其中：
是尺度空间因子，它决定了图像的模糊的程度。
在大尺度下（ 值大）表现的是图像的概貌信息，在小尺度下（
值小）表现的是图像的细节信息。
在计算高斯函数的离散近似时，在大概
距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。所以，在实际应用中，只计算
的高斯卷积核就可以保证相关像素影响。
下面我们构建图像的高斯金字塔，它采用高斯函数对图像进行模糊以及降采样处理得到的。
高斯金字塔构建过程中，首先将图像扩大一倍，在扩大的图像的基础之上构建高斯金字塔，然后对该尺寸下图像进行高斯模糊，几幅模糊之后的图像集合构成了一个 ，然后对该
下选择一幅图像进行下采样，长和宽分别缩短一倍，图像面积变为原来四分之一。
这幅图像就是下一个的初始图像.
在初始图像的基础上完成属于这个的高斯模糊处理，以此类推完成整个算法所需要的所有八度构建，这样这个高斯金字塔就构建出来了，整个流程如下图所示：
利用 LoG (高斯拉普拉斯方法)，即图像的二阶导数，可以在不同的尺度下检测图像的关键点信息，从而确定图像的特征点。
但 LoG 的计算量大，效率低。
所以我们通过两个相邻高斯尺度空间的图像的相减，得到 DoG (高斯差分)来近似 LoG。
为了计算 DoG 我们构建高斯差分金字塔，该金字塔是在上述的高斯金字塔的基础上构建而成的，建立过程是：在高斯金字塔中每个 中相邻两层相减就构成了高斯差分金字塔。如下图所示：
高斯差分金字塔的第 1 组第 1 层是由高斯金字塔的第 1 组第 2 层减第 1 组第 1 层得到的。
以此类推，逐组逐层生成每一个差分图像，所有差分图像构成差分金字塔。
概括为 DOG 金字塔的第 o 组第 l 层图像是有高斯金字塔的第 o 组第 l + 1 层减第 o 组第 l 层得到的。
后续 Sift 特征点的提取都是在 DOG 金字塔上进行的。
在 DoG 搞定之后，就可以在不同的尺度空间中搜索局部最大值了。
对于图像中的一个像素点而言，它需要与自己周围的 8 邻域，以及尺度空间中上下两层中的相邻的 18（2×9）个点相比。如果是局部最大值，它就可能是一个关键点。基本上来说关键点是图像在相应尺度空间中的最好代表。如下图所示：
搜索过程从每组的第二层开始，以第二层为当前层，对第二层的 DoG 图像中的每个点取一个 的立方体，立方体上下层为第一层与第三层。这样，搜索得到的极值点既有位置坐标（DoG的图像坐标），又有空间尺度坐标（层坐标）。
当第二层搜索完成后，再以第三层作为当前层，其过程与第二层的搜索类似。
当 S = 3 时，每组里面要搜索 3 层，所以在DOG中就有 S + 2 层，在初使构建的金字塔中每组有S + 3层。
关键点定位
由于DoG对噪声和边缘比较敏感，因此在上面高斯差分金字塔中检测到的局部极值点需经过进一步的检验才能精确定位为特征点。
使用尺度空间的泰勒级数展开来获得极值的准确位置， 如果极值点的灰度值小于阈值（一般为0.03或0.04）就会被忽略掉。 在 中这种阈值被称为 contrastThreshold。
DoG 算法对边界非常敏感， 所以我们必须要把边界去除。 Harris 算法除了可以用于角点检测之外还可以用于检测边界。从 Harris 角点检测的算法中，当一个特征值远远大于另外一个特征值时检测到的是边界。
那在DoG算法中欠佳的关键点在平行边缘的方向有较大的主曲率，而在垂直于边缘的方向有较小的曲率，两者的比值如果高于某个阈值（在中叫做边界阈值），就认为该关键点为边界，将被忽略，一般将该阈值设置为10。
将低对比度和边界的关键点去除，得到的就是我们感兴趣的关键点。
关键点方向确定
经过上述两个步骤，图像的关键点就完全找到了，这些关键点具有尺度不变性。
为了实现旋转不变性，还需要为每个关键点分配一个方向角度，也就是根据检测到的关键点所在高斯尺度图像的邻域结构中求得一个方向基准。
对于任一关键点，我们采集其所在高斯金字塔图像以r为半径的区域内所有像素的梯度特征（幅值和幅角），半径r为：
其中 是关键点所在
的图像的尺度，可以得到对应的尺度图像。
梯度的幅值和方向的计算公式为：
邻域像素梯度的计算结果如下图所示：
完成关键点梯度计算后，使用直方图统计关键点邻域内像素的梯度幅值和方向。
具体做法是，将360°分为36柱，每10°为一柱，然后在以r为半径的区域内，将梯度方向在某一个柱内的像素找出来，然后将他们的幅值相加在一起作为柱的高度。
因为在r为半径的区域内像素的梯度幅值对中心像素的贡献是不同的，因此还需要对幅值进行加权处理，采用高斯加权，方差为 。如下图所示，为简化图中只画了8个方向的直方图。
每个特征点必须分配一个主方向，还需要一个或多个辅方向，增加辅方向的目的是为了增强图像匹配的鲁棒性。
辅方向的定义是，当一个柱体的高度大于主方向柱体高度的 时，则该柱体所代表的的方向就是给特征点的辅方向。
直方图的峰值，即最高的柱代表的方向是特征点邻域范围内图像梯度的主方向;
但该柱体代表的角度是一个范围，所以我们还要对离散的直方图进行插值拟合，以得到更精确的方向角度值。利用抛物线对离散的直方图进行拟合，如下图所示：
获得图像关键点主方向后，每个关键点有三个信息 ：位置、尺度、方向。由此我们可以确定一个SIFT特征区域。
通常使用一个带箭头的圆或直接使用箭头表示SIFT区域的三个值：中心表示特征点位置，半径表示关键点尺度，箭头表示方向。如下图所示：
关键点描述
通过以上步骤，每个关键点就被分配了位置，尺度和方向信息。接下来我们为每个关键点建立一个描述符，该描述符既具有可区分性，又具有对某些变量的不变性，如光照，视角等。
而且描述符不仅仅包含关键点，也包括关键点周围对其有贡献的的像素点。主要思路就是通过将关键点周围图像区域分块，计算块内的梯度直方图，生成具有特征向量，对图像信息进行抽象。
描述符与特征点所在的尺度有关，所以我们在关键点所在的高斯尺度图像上生成对应的描述符。
以特征点为中心，将其附近邻域划分为 个子区域（一般取
)，每个子区域都是一个正方形，边长为
，考虑到实际计算时，需进行三次线性插值；
所以特征点邻域的为 范围，如下图所示：
为了保证特征点的旋转不变性，以特征点为中心，将坐标轴旋转为关键点的主方向，如下图所示：
计算子区域内的像素的梯度，并按照 进行高斯加权，然后插值计算得到每个种子点的八个方向的梯度，插值方法如下图所示：
每个种子点的梯度都是由覆盖其的4个子区域插值而得的。如图中的红色点，落在第 0 行和第 1 行之间，对这两行都有贡献。
对第 0 行第 3 列种子点的贡献因子为 ，对第 1 行第 3 列的贡献因子为
；
同理，对邻近两列的贡献因子为 和
，对邻近两个方向的贡献因子为
和
。则最终累加在每个方向上的梯度大小为：
其中 为 0 或为 1 。 如上统计
个梯度信息即为该关键点的特征向量，按照特征点的对每个关键点的特征向量进行排序，就得到了SIFT特征描述向量。
总结
SIFT在图像的不变特征提取方面拥有无与伦比的优势，但并不完美，仍然存在实时性不高，有时特征点较少，对边缘光滑的目标无法准确提取特征点等缺陷.
自SIFT算法问世以来，人们就一直对其进行优化和改进，其中最著名的就是SURF算法。
0x01 SURF原理
使用 SIFT 算法进行关键点检测和描述的执行速度比较慢， 需要速度更快的算法。
2006 年 Bay提出了 SURF 算法，是SIFT算法的增强版，它的计算量小，运算速度快，提取的特征与SIFT几乎相同，将其与SIFT算法对比如下：
实现
在OpenCV中利用SIFT检测关键点的流程如下所示：
💬API
sift = cv.xfeatures2d.SIFT_create()参数：
- gray: 进行关键点检测的图像，注意是灰度图像
返回：
- kp: 关键点信息，包括位置，尺度，方向信息
- des: 关键点描述符，每个关键点对应128个梯度信息的特征向量
将关键点检测结果绘制在图像上
💬API
cv.drawKeypoints(image, keypoints, outputimage, color, flags)参数：
- image: 原始图像
- keypoints：关键点信息，将其绘制在图像上
- outputimage：输出图片，可以是原始图像
- color：颜色设置，通过修改（b,g,r）的值,更改画笔的颜色，b=蓝色，g=绿色，r=红色。
- flags：绘图功能的标识设置
- cv2.DRAW_MATCHES_FLAGS_DEFAULT：创建输出图像矩阵，使用现存的输出图像绘制匹配对和特征点，对每一个关键点只绘制中间点
- cv2.DRAW_MATCHES_FLAGS_DRAW_OVER_OUTIMG：不创建输出图像矩阵，而是在输出图像上绘制匹配对
- cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS：对每一个特征点绘制带大小和方向的关键点图形
- cv2.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS：单点的特征点不被绘制
SURF算法的应用与上述流程是一致，这里就不在赘述。
📌注意：3.4.3以上版本的OpenCV，sift函数进入专利保护阶段，无法免费使用
💎 示例：
# 1 读取图像
img = cv2.imread('sun.jpg')
gray= cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 2 sift关键点检测
# 2.1 实例化sift对象
sift = cv2.xfeatures2d.SIFT_create()
# 2.2 关键点检测：kp关键点信息包括方向，尺度，位置信息，des是关键点的描述符
kp,des=sift.detectAndCompute(gray,None)
# 2.3 在图像上绘制关键点的检测结果
cv2.drawKeypoints(img,kp,img,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
# 3 图像显示
plt.figure(figsize=(8,6),dpi=100)
plt.imshow(img[:,:,::-1]),plt.title('sift')
plt.xticks([]), plt.yticks([])
plt.show()
总结
SIFT原理：
- 尺度空间极值检测：构建高斯金字塔，高斯差分金字塔，检测极值点。
- 关键点定位：去除对比度较小和边缘对极值点的影响。
- 关键点方向确定：利用梯度直方图确定关键点的方向。
- 关键点描述：对关键点周围图像区域分块，计算块内的梯度直方图，生成具有特征向量，对关键点信息进行描述。
API：cv.xfeatures2d.SIFT_create()
SURF算法：
- 对SIFT算法的改进，在尺度空间极值检测，关键点方向确定，关键点描述方面都有改进，提高效率。
文章出处登录后可见！
