Progressive Spatial–Spectral Joint Network for Hyperspectral Image Reconstruction
（渐进式空间-光谱联合网络的高光谱图像重建）
（☆☆☆☆☆☆☆学习从MS构建HS☆☆☆☆☆☆☆）
高光谱（HS）图像被广泛用于识别和表征感兴趣场景中的目标，具有高获取成本和低空间分辨率。通过高空间分辨率多光谱（MS）图像的光谱重建获得高空间分辨率HS图像（HSI）是一种廉价的方法。在这篇文章中，我们提出了一种渐进的空间-光谱联合网络（PSJN）来重建MS图像的HSI。PSJN由2-D空间特征提取模块、3-D渐进式空间-谱特征构造模块和谱后处理模块组成。PSJN充分利用了二维空间特征提取模块提取的浅层空间特征和三维渐进空谱特征构造模块提取的空谱特征。3-D渐进式空间-光谱特征构造模块设计用于从局部空间的局部光谱中提取空间-光谱信息，并以金字塔结构构造从少数波段到多个波段的光谱信息。此外，针对原始光谱重建效果较差的图像，提出了一种网络更新机制，以提高光谱重建效果。在3个HS-MS数据集和1个MS数据集上的实验结果验证了所提方法的有效性。
介绍
高光谱图像（HSI）提供了来自具有数百或数千个窄光谱带的场景的丰富和多样的光谱信息。丰富的光谱特征有助于区分不同的目标。因此，HSI广泛应用于分类、目标检测、本征图像恢复、变化检测、光谱解混和场景分割。单个谱带由于窄谱带而具有低能量。因此，高光谱传感器需要扩大瞬时视场以获得合理的信噪比，从而导致空间分辨率受限。此外，由于HS卫星非常有限，星载HS数据的重访时间很长。相比之下，多谱段卫星的空间分辨率较高（大多低于10米），卫星网络重访时间较短。有学者尝试通过迁移学习的方法将不同相位或不同传感器的HSI加入到已使用的数据集中。然而，现有的统一制度数据仍然太少。
研究人员试图设置一种分辨率并改进另一种分辨率，以解决多模态HS项中各种分辨率之间的矛盾（本质上是光谱分辨率和空间分辨率之间的矛盾）。最初，研究人员专注于提高HSI的空间分辨率。通过将高空间分辨率MS图像与低空间分辨率HSI或其他相关信息融合，已经取得了许多效果来恢复具有高光谱分辨率和空间分辨率的图像。然而，由于HS卫星的复查周期很长，因此在任何特定时间收集记录良好的HSI和MSI并满足我们的需要是具有挑战性的。
鉴于MS图像重访时间短、空间分辨率高等优点，恢复MS图像丢失的光谱信息也是解决光谱分辨率与空间分辨率矛盾的有效方法，被称为光谱重建或光谱超分辨率。光谱重建建立从几个波段（3或4-20）到大量波段（〉100）的映射。这个逆过程是一个严重的不适定问题。为了解决这一问题，人们提出了许多光谱重建方法。
早期研究者采用基于主成分分析（PCA）或伪逆（PI）的浅层映射。基于稀疏字典学习的映射方法由于先验知识较多而出现。随着深度学习的发展，基于CNN或GAN的方法被用于光谱重建。深度学习方法强大的特征表达能力和映射关系构建能力在光谱重建中取得了巨大的成功。
然而，基于CNN、GAN等深度学习方法的光谱重建模型仍然存在一些不足。一方面，现有的谱重构模型大多应用于地面图像，采用了大量的上采样、下采样和非局部注意结构。由于遥感图像地物规模大、数量多、结构复杂，这些结构在遥感图像光谱重建中难以发挥良好的效果。另一方面，遥感HSI光谱分辨率高，空间分辨率相对较低。遥感图像波段间的光谱相关性强于空间相关性，应更加重视相邻光谱的连续性。然而，现有的基于2-D-CNN的模型难以表达相邻谱之间的谱连续性。
为了解决这些问题，我们提出了一种结合2-D-CNN和3-D-CNN空间和光谱特征的渐进空间-光谱联合网络（PSJN）。PSJN由空间-光谱特征构造模块和光谱后处理模块组成。空间-谱特征构造模块结合了2-D空间特征提取模块和3-D渐进空间-谱特征构造模块。组成3-D渐进空间-谱特征构造模块的渐进空间-谱特征提取模块逐层地生成高频谱信息和低频谱信息。通过上述结构，可以从MS图像以高精度重建HSI。
贡献
1）提出了一种结合2-D-CNN的空间特征和3-D-CNN的空间-谱特征的PSJN用于谱重建。2-D网络提取MS图像的浅层空间信息。3-D网络用于逐步构建局部空间光谱相关特征。结合空间和光谱特征可以精确地重建HSI。
2）提出了一种谱维渐进金字塔结构，通过多层叠加逐步恢复低频到高频的光谱信息。3-D卷积组合了金字塔结构的3-D渐进模块中相同空间位置和光谱的不同深度特征。
3）针对原始光谱重建效果较差的图像，提出了一种网络更新机制，以提高光谱重建效果。我们在三个HS-MS数据集和一个MS数据集上从相似度和分类性能评价两个方面评价了SR方法的质量。大量实验表明PSJN模型在HS重建中的优越性。
相关工作
早期的研究者期望找到一个映射矩阵，能够直接表达MS图像和HSI之间的相关性。典型的方法是基于主成分分析（PCA）的光谱重建、基于维纳估计（WEN）的光谱重建和基于伪逆（PI）的光谱重建。在过去的五年中，光谱重建方法已经分为两个分支：基于稀疏字典学习的知识驱动光谱重建方法和基于深度神经网络学习的数据驱动光谱重建方法。
基于稀疏字典的光谱重建方法期望通过相同的权矩阵和不同的字典来表示MS图像和HSI。可以使用HS字典和从MS字典和图像获得的权重矩阵来获得对应的HSI。基于这一基本思想，研究者们提出了许多利用不同先验信息的变形方法。
Arad和Ben-Shahar通过K-SVD算法从HSI中得到了一个过完备字典，并通过投影得到了低维字典。RoblesKelly通过字典学习处理卷积特征。Wu等人通过引入基于“A+”的方法改进了ARAD的稀疏字典方法。Jia等人提出了一种使用流形作为中间结构的两步映射方法。Han等人使用光谱库作为辅助信息构建了稀疏字典。Yi等人通过结合稀疏字典和解混合模型来重构光谱。Gao等人分别在HS和MS图像上学习低秩稀疏字典。
基于深度学习的光谱重建方法希望通过构造合适的深度神经网络来拟合逆映射。Nguyen等人试图通过窄RBF网络拟合逆映射。基于CNN的光谱重建出现在2017年晚些时候。Galliani等人首先引入了从低维图像到高维图像的CNN映射。Xiong等人提出了HSCNN，该HSCNN利用光谱上采样图像的输入输出重构的HSI。Alvarez-Gila等人采用了一种生成式对抗网络来重建光谱。Paul和Kumar提出了一种谱重构思想，即提取一个区域的特征来构造中心点的谱，并将其应用于遥感图像。与频谱重构类似，相关深度学习技术也用于压缩感知。
2018年，Arad等人举办了第一届光谱图像重建挑战赛，命名为NTIRE 2018光谱重建挑战赛，所有参与者都提出了深度学习的方法。Shi等人开发了深Resnet结构和深Densenet结构，分别命名为HCSNN-R和HSCNN-D，并赢得了挑战的第一个空间。2020年举行了光谱重建的第二次挑战。在NTIRE 2020以及2018年发生的事情中，所有参赛团队都在使用深度学习方法。Li等人使用自适应加权注意力网络（AWAN）获得了“clean”轨道上的第一名，Zhao等人使用分层回归网络（HRNet）获得了“真实的世界”轨道上的第一名。
方法
Problem Formulation
HS和MS图像都是连续光谱图像的子样本。HSI比MS图像保留更多的信息，MS图像在MS传感器采样期间丢失了许多光谱信息。MS传感器在每个波段上的观测值与MS传感器的连续光谱和光谱响应函数（SRF）的值有关。设L和LM分别为连续信号和MS信号。L和LM之间的关系可以通过MS传感器g的SRF来描述。
其中i为LM的指定波段，gi为MS传感器在波段i上的SRF，λ为波长，λ的取值范围取决于传感器和i。
由于∫gi(λ)dλ对于指定传感器的指定频带是固定值，因此我们可以通过归一化SRF来描述公式（1）：
实际上，上述积分公式通常是以离散形状来逼近的。因此，（2）也可以写成：
其中N是由MS传感器的SRF采样的点数。
例如，GF1的SRF覆盖从400到1000nm的波段，并且GF1的N值为601。GF1的每个波段的观测值可以被认为是601个波段上的实际连续光谱辐射亮度与长度为601的SRF的卷积样本。
由于高光谱干涉仪的光谱分辨率高，而高光谱传感器SRF的带宽较窄，因此可以对高光谱进行插值，得到连续光谱。在此基础上，借助MS传感器SRF，可以在HSI插值得到的连续光谱图像中获得MS图像。因此，可以通过插值HS波段的权重和MS传感器的SRF来获得从HSI到MS图像的指定波段的SRF ——gHM
其中LH是HS信号，BH表示频带数。
因此，（4）等价于
GF1的SRF和GF5至GF1特定条带的归一化SRF如图1所示。
从MS图像到HSI的光谱重建实际上是（5）的逆映射。GHM没有左逆矩阵，因为它是行满秩矩阵。当LM固定时，LH存在无穷多个解。因此，不可能根据MS传感器的SRF直接找到逆映射矩阵来完成光谱重建。反向映射本身在本质上是不恰当的。Arad和Ben-Shahar证明了自然场景中HS信号稀疏性的不适定变换的可行性。
自然场景的HSI中，局部像元和局部波段之间存在空间连续性和光谱连续性。合理利用空间连续性和光谱连续性，实现了从MS图像到HSI的光谱重建。
然而，如果遇到测试MS图像的数据分布与训练集中MS图像的数据分布完全不一致，则重建可能失败。在这种情况下，可以使用更新机制来进行谱重建。
基于以上分析，本文的总体工作流程如图2所示。首先，通过重叠HSI和MS图像构建HS-MS样品对。其次，用设计的网络PSJN重构HS样本。根据重构的HS样本与真实的HS样本之间的差异计算损失，以约束网络向更准确的方向训练。最后，利用训练好的网络进行MS图像到HSI的光谱重建。
在光谱重建过程中，可以对HSI的重建效果进行自评估，对重建效果较差的样本进行网络更新，从而达到更好的光谱重建效果。
Network Architecture
如图3所示，我们提出的PSJN由三部分组成：2-D空间特征提取模块（2-D SFEM）、3-D渐进空间-谱特征构造模块（3-D PSFCM）和谱后处理模块。透射特征在2-D空间特征提取模块中具有4个维度：数量维度、频谱维度（2-D卷积的信道维度）和两个空间维度。
在3-D渐进空间-谱特征构造模块中，透射特征具有五个维度：数量维度、特征维度（2-D卷积的信道维度）、谱维度和两个空间维度。给定IM ∈ N×M× X × Y（N是样品的数目，M是MS谱带的数目，X、YX和Y是空间维度的维数）作为MS输入。2-D空间特征提取模块的输出是
其中H2-D SFEM表示二维空间特征提取模块的系统响应，I2-D ∈ N × H × X × Y（H为HS带数）。
网络中另一通道3-D PSFCM的输出为
其中H3-D PSFCM表示3-D渐进空谱特征构造模块的系统响应，I3-D ∈ N × 1 × H × X × Y（1为特征维数）。
在压缩额外的第二维之后，输出变为I3-Dsq ∈ N × H × X × Y。
谱后处理模块的输入是二维SFEM和三维PSFCM的输出之和。光谱后处理模块的输出是恢复的HS样本
其中，HSE表示光谱后处理模块的系统响应。
2-D Spatial Feature Extraction Module
图4示出了2-D SFEM包括三个部分：升维层、特征处理层和降维层。
维度上升层由2-D卷积层和激活层组成，用于将数据信道的数目从原始MS样本的数目提升到指定的光谱维度（在实验中使用256）。
特征处理层由多个残差信道关注模块和一个特征拼接模块组成。
如图5所示，残差通道注意模块由残差块和通道注意块组成。两个2-D卷积层和两个参数校正线性单元（PRelu）层在残差块中交替。
通道注意块采用挤压-激励（SE）结构。如图6所示，SE块包括全局平均汇集层、两个完全连接层、Relu层和Sigmoid层。
SE块改进了通过显式建模要素通道之间的相互依赖关系而生成的制图表达。
2-D空间特征提取模块具有足够的深度以通过堆叠残余信道关注模块来完全提取特征。将来自维度上升层和频道关注块的特征映射在频道维度上进行组合，以组合来自不同深度的特征。
降维层由二维卷积层和激活层组成，用于将数据通道数降维为真实的HS带数。
3-D Progressive Spatial–Spectral Feature Construction Module
三维PSFCM包括多个渐进式空间-光谱特征提取模块（简称渐进式模块）和一个降维层。渐进式模块的结构如图7所示。
渐进式模块中有两个输入和一个输出。输入是四维中的原始MS样本和五维中的上渐进模块的输出。输出是具有乘性谱维数的5-D数据。
渐进式模块由五部分组成：维度上升层、特征提取层、特征维度中的级联、求和层和3-D转置卷积层。
每个渐进模块具有其指定的频谱维度，该频谱维度从略高于MS频带的数目的维度开始并且逐步相乘，直到最后的渐进模块超过HS频带的数目。升维层用于将谱维数从MS谱带数提升到指定的维数，由卷积层和活化层组成。
与2-D模块类似，特征提取层由用于提取不同深度处的特征的若干残余注意模块组成。应当注意，由不同渐进块提取的特征还基于它们各自指定的频谱维度。此外，受随后的3-D卷积和3-D转置卷积的约束，所采集特征本身的谱维数的阶数与真实的谱阶数直接相关。在特征提取之后，使用连接来联合不同深度的特征图。与在谱维中组合特征图的2-D SFEM相比，3-D PSFCM在特征维（添加的维）中组合特征图。在组合之后，谱维度的维数保持相同。与此同时，数据的维度也从原来的四维变为了五维。其优点在于，先前提取的特征图被约束为在指定点（相同的空间维度和相同的谱维度）相关。如图8所示，通过在特征维度上堆叠特征，3-D卷积的输出仅与邻近的光谱特征相关，而不与远的光谱特征相关。谱连续性受谱维上局部处理的约束。
级联后的数据与上一级递进模块的输出通过相同维度的直接相加进行联合。渐进模块的最后部分是转置卷积层。将上一步得到的加法放入3-D转置卷积层（谱维跨距为2），得到谱维加倍的输出。渐进模块的最后部分是转置卷积层。将上一步得到的加法放入3-D转置卷积层（谱维跨距为2），得到谱维加倍的输出。
通过几个渐进块，谱维度的维数增加到超过HS带的数目。最终的渐进块不再包含转置卷积层，而是包含将频谱维度减少到相同数目的HS频带的3D卷积层。
Loss Function and Others
重建的HSI应具有两个特征。
一个是重构的HSI应该与真实的的HSI足够相似。另一种方法是通过MS传感器的SRF将重建的HSI恢复为原始MS图像。
基于这两个特性，PSJN网络的损失函数包含两部分：重建的HSI和真实的HSI之间的差异测量，以及重建的MS图像和真实MS图像之间的差异测量
两个损失函数通过线性相加进行组合
在训练过程中考虑重建MS图像与真实的MS图像的差异度量，提高了谱重建效果。然而，考虑到训练样本的分布可能与真实的MS图像的分布不一致，重建的MS图像仍可能与测试样本的MS图像不一致。在这种情况下，该差值可以用作调整网络的间接测量。具体来说,我们设计了两个更新评价指标样本块。一个是均方根误差(RMSE)样本MS和重建之间的样本MS，另一个是MS像素和重构的MS像素之间的绝对差值超过特定阈值的像素的数目。如果其中一项超过限值，则认为分布差异过大，需要调整。
对于分布差异较大的块，以当前MS样本作为训练样本，以RMSE作为损失进行再训练。在20个迭代的训练或达到评估度量之后，训练过程停止，并且当前的再训练网络重构MS样本。
PSJN结构的每一层的光谱维数的维数设置列于表I中。
考虑到三维卷积带来的大量计算时间，我们还提出了一种简化的形式，称为窄PSJN（NPSJN）。NPSJN从整体上降低了3-D PSFCM的谱维数，减少了3-D卷积带来的计算量，从而减少了运算时间。
文章出处登录后可见！
