课程PPT讲课记录——课程论文阅读——原论文/论文研读Ppt后续见资源。

目录

摘要

目标：使用Gabor滤波器对复杂的色调/饱和度图像进行颜色纹理分类的新方法。

方法：

将色调和饱和度为极坐标，允许直接使用HSV色彩空间进行傅里叶变换。该技术应用颜色纹理的Gabor特征提取。与基于 RGB 色彩空间的其他颜色特征相比，色带的组合是在过滤之前完成的。

结果：

通过对30种自然纹理的分类，将新HS特征的性能与基于RGB和灰度Gabor特征的性能进行了比较。新的HS特征显示与最佳RGB特征相同的结果，但HS特征表示更为紧凑。平均而言，颜色特征可改善灰度特征的结果。

结论:

颜色信息的加入能够增强颜色纹理的分类。

颜色空间的选择无法最终判定，但结果表明使用HSV-颜色空间引入的特征表示比RGB好。

介绍

纹理是图像分类和分割的重要研究方向之一。近三十年来，人们发展了大量的纹理特征提取算法。统计算法描述相似纹理的分类。统计纹理特征提取方法的突出代表是Gauss-Markov-Random-Fields（高斯马尔可夫随机场）， Co-occurrence – matrices（灰度共生矩阵）以及Gabor（加博）表示和Wavelet（小波）表示。

迄今为止，因为纹理分析中存在大量特征，所以对纹理的认识和描述还不够全面 ，进而必须为特定的应用程序确定理想的特征集。

虽然现实世界的场景是彩色的，但大多数的研究都是在灰度纹理领域进行的。其原因是彩色相机的成本高，彩色图像处理的计算成本高。在过去的几年里，第一步是在识别彩色纹理方面完成的。这是由于硬件成本的降低和灰度领域的各种特性而带来的的进展。由于从标量到向量的过渡涉及到阶–关系的损失，因此，从灰度的方法到彩色图像的迁移是困难的。

本文主要研究了彩色纹理的Gabor滤波器。除了基于RGB颜色空间（红、绿、蓝）的JAIN方法外，还提出了一种基于HSV颜色空间（色相、饱和度、值）的新方法。这种颜色的视觉目前主要基于傅里叶的纹理特征提取方法，如Gabor滤波器。通过将非线性颜色变换和纹理特征提取相结合，可以获得良好的真实纹理分类结果。

基础概念

Gabor 特征是一种可以用来描述图像纹理信息的特征，Gabor 滤波器的频率和方向与人类的视觉系统类似，特别适合于纹理表示与判别，其主要依靠 Gabor 核在频率域上对信号进行加窗，从而能描述信号的局部频率信息。正是靠傅里叶变换，我们才能将信号转换到频率域，才能让Gabor核在频率域去加窗。而在原本的空间域中，一个 Gabor 核实际上就是一个高斯核与正弦波调制的结果，可以看做是高斯核应用在了正弦波的频域部分。

傅里叶变换本质是将任意一个函数转化为若干不同频率正弦波的组合，（组合方式在离散函数中就是相加，在连续函数中就是积分）。由此，将空域（或时域）信号转换到了频域（即频率域）。空间域中多个波叠加，在频率域中就对应着若干个散落的点。

Gabor滤波器的脉冲响应，可以定义为一个正弦波（对于二维Gabor滤波器是正弦平面波）乘以高斯函数。由于乘法卷积性质，Gabor滤波器的脉冲响应的傅里叶变换是其调和函数的傅里叶变换和高斯函数傅里叶变换的卷积。一组不同频率不同方向的Gabor函数数组对于图像特征提取非常有用。

事实上，任何波都可以看做是若干（乃至无穷）个不同频率正弦波的叠加。就像可见光可以看做不同频率的光的叠加一样，通过傅里叶变换，我们能将任何波分解为不同频率波的叠加。这样转换的好处是：有些情况下空域中很复杂的问题，在频率域会变得十分简单。

 一个Gabor核能获取到图像某个频率邻域的响应情况，这个响应结果可以看做是图像的一个特征。

右图展示了一系列具有不同频率的 Gabor 核，用这些核与图像卷积，我们就能得到图像上每个点和其附近区域的频率分布情况。由于纹理特征通常和频率相关，因此Gabor核经常用来作为纹理特征。

HSV色系对用户来说是一种直观的颜色模型，对于颜色，人们直观的会问”什么颜色？深浅如何？明暗如何？“，而HSV色系则直观的表示了这些信息。

HSV颜色空间：

• HSV(Hue, Saturation, Value)是根据颜色的直观特性创建的一种颜色空间。
• HSV颜色模型是指色调（H），饱和度（S），亮度（V）三维颜色空间，它包含某个颜色域的所有颜色。
• 

• 2 Grayscale Gabor Filters –灰度Gabor过滤器

  本节描述了2D-Gabor滤波器及其在灰度纹理特征提取中的应用。在引入连续二维-Gabor滤波器后，导出了傅里叶平面的离散Gabor分解，得到了灰度Gabor特征。

  2.1 2D–Gabor Filters

  频率元素是纹理描述的重要特征。为了处理非平稳图像，小图像区域的局部频率可以通过WFT（窗口傅里叶变换）进行分析，它给出了图像的空间/频率表示。因此，将二维连续图像p (x , y)乘以窗口函数q (x , y) ，然后进行傅里叶变换。

• 对于纹理分析，我们同时需要空间位置和频率位置。关于不确定性原理，必须在这两个目标之间找到一个折中方案。GABOR使用高斯函数作为空间和频域的最优集中函数。对于非各向同性高斯分布，必须引入两个新的参数：长宽比1/𝜆λ和短轴到u轴的方向角𝜑φ。

2.2 Discrete Gabor Decomposition

傅里叶谱的分解便于定义Gabor滤波器的两个特征：半峰带宽B（以八度为单位）和方向带宽（以弧度为单位），因此，一个给定的 B 和 Ω  Ω 确定方差𝜎σ和比值𝜆λ，F和𝜎σ与常数B的乘法连接使得低频滤波器显示出更宽的空间扩展，反之亦然。因此，选择间隔一个八度的R=log N/2中心频率（每个图像大小的周期）和方向𝜔ω， Ω Ω =2𝜋/𝜔π/ω，在傅里叶平面上产生一个具有椭圆滤波器接近其半峰频率的密集滤波器组。图1显示了𝜔ω=6和R=4的过滤器组。

对于基于计算机的图像处理，这些连续的滤波器必须被转移到离散的像素域中。由于滤波器没有带限性，因此不能避免混叠。BOVIC研究了离散滤波器的影响，并给出了依赖于f的足够采样密度的条件，以最小化混叠效应。fs>5·f，fs表示采样频率。因此，应该在特征生成过程中排除最高的频率。

2.3 Grayscale Gabor Features

纹理测量是由图像的Gabor分解为空间/频域g (x, y) (6)的结果，它是一个在每个像素位置的复向量的图像。复值可以分为大小值和相位差，但在我们的实验中，只有大小值用于识别。由于使用实值输入的傅里叶谱的对称性，因此只考虑了半平面。图像特征是通过将空间坐标x和y上的滤波器输出的平方相加来计算的。

3 Color Gabor Filters-颜色Gabor过滤器

在单独处理色带和JAIN的opponent Gabor特征外，还介绍了基于色调和饱和度的新特征。

3.1 Unichrome Features

单色图像功能是处理彩色图像的直接方式。这些特征是在每个色带上独立计算的。对于每个色带，这种分解可以用于波长特定的分类。通过特征向量的串联，可以使用全色信息（图2）。然而，这些RGB特征并没有利用色带之间的相关性。

3.2 Opponent Color Features

Opponent Gabor的特点是是基于对手过程理论的人类色觉。视网膜上的感受野作为一种光感受器的模式，表现出空间和彩色对抗。如果中心的一类光感受器被光刺激激发，那么周围相对的一类光感受器就会受到抑制（反之亦然）。为了将这一理论整合到Gabor特征的计算中，我们将不同的光感受器类别和空间关系分别与光谱波段和相邻的中心频率进行了识别。

3.3 Complex Color Features

光谱波段之间的信息相关性没有集成在RGB特征中，而opponent特征在Gabor滤波后作为后处理步骤进行处理。下面的复杂颜色特征方法通过使用HSV颜色空间结合滤波之前的颜色带。

3.3.1 Color in Complex Representation

HSV-颜色空间是RGB-cube的非线性变换。它被广泛地应用于色觉领域。

颜色属性的色调、饱和度和值与人类颜色感知的类别密切相关。其中，一个缺点存在接近零饱和的不稳定值和在S=0处的奇异点。因此，HSV空间应该只用于饱和颜色的图像。另一个问题是，如果傅里叶变换是应用于色调通道。色调则作为标量值存储的角坐标。这意味着只有在红色和洋红之间的软色变化的高频率。为了克服这个问题，可以定义颜色的复杂表示法。

在这种表示中，饱和度被解释为大小和色调为复杂值b的相位。不包括该值通道。低饱和色的权重很低，这可以处理所描述的不稳定性问题。复杂表示是基于HSV的傅里叶变换以及彩色图像的Gabor特征的基础。

注意，傅里叶光谱对于复输入是不对称的，因此，利用整个傅里叶平面进行特征提取。

3.3.2 Gabor Features for Complex Represented Color

复色Gabor特征的计算与单色Gabor特征相似，因为将色带组合成复值图像b(x，y)是在滤波之前完成的（图4）。

4 Experimental Evaluation

从VisTex(ftp:whitechapel.media.mit.edu)数据库中选择了与前期工作中相同的30张自然场景图像（图5）。每幅图像被细分为64张间隔的64*64 张子图像，生成30类的1920幅图像。利用上述特征进行了7个实验，每个实验都采用Gabor分解的5个中心频率和6个方向（对称傅里叶平面为3个）：

• 16个灰度特征（5个3+direct current），
• 16个单色R-，G-和B-特征，
• 46个串联RGB特征(315+DC)，
• 31个色调和饱和度特征(56+DC)
• 82个opponent颜色特征（3个（34+35）+DC）。
• 在进行分类时，将图像集分为两个分离集，每组15张图像（随机选择），分别进行训练和测试。
• 采用了5个最近邻分类器。
• 

5 Results

在实验中（结果见表1），opponent特征的结果最差，而新的HS特征和RGB特征的表现最好，并提高了灰度特征的分类率。请注意，HS表示比RGB更紧凑。

分类率表明，一些图像的纹理具有强度值（织物、沙子、石头、水），而一些图像则显示了额外的颜色信息（树皮、食物、木材）。这些结果与WOUWER的观察结果相一致。图像Wood1的分类结果最差，可以解释为小的子图像对其纹理特征的表示不充分（bad）。Food0和Food2取得了非常好的结果，尽管这两个图像非常相似。这里的HS特性提供了最好的结果。

6 Discussion

令人惊讶的是，在大多数情况下，组合的RGB特征比单一色带的最佳特征显示出更好的结果。特别是最难的类别（食物，木材）的灰度特征可以显著增强。虽然一些纹理看起来几乎是单色的，但颜色特征RGB和HS的表现至少和灰度特征一样好。这对于强度信息是固有的RGB来说是很明显的，但对于没有使用值通道的HS特性来说，这则是值得注意的。RGB和HS-特征在整个数据集上都显示出了良好的结果，而HSV-特征空间的维数显著降低到RGB的三分之二。

7 Conclusion

本文介绍了复杂的色调/饱和度图像，利用Gabor滤波器对颜色纹理进行特征提取。在这个领域中首次使用HSV颜色空间。

将新特征的性能与Gabor变换领域中其他处理颜色和/或灰度信息的方法进行了比较。为此，我们对30张自然彩色纹理图像进行了多次分类实验，这些结果鼓励使用颜色信息进行纹理分类。

这可以在RGB-以及HSV-颜色空间中完成。

进一步的研究将集中在在不显著降低分类性能的情况下有效地减少特征的数量。