/edogawachia/article/details/88674649
Going Deeper with Contextual CNN for Hyperspectral Image Classification
TIP的文章。
本文主要是提出了一种新的网络模型,深度更深,并且加上了googlenet的那种同一个层中多个scale(kernel=1,3,5)的方法,从而实现了deeper and wider。这里主要针对的问题是现有的CNN方法做HSI分类问题中网络结构较小较简单从而不能达到最优结果。本文作者用一个更深的和更wide的网络(其实就是加了个inception结构单元)来实现HSI分类。它的一个好处在于,它可以同时学习到spatial和spectral的特征。在这个深度网络中,用到了FCN,ResNet的结构,以及multi-scale filter,也就是inception的结构。如图所示:
Accordingly, the reduction of the spectral dimension of the hyperspectral images is in general initially performed to fit the input data into the small-scale networks by using techniques, such as principal component analysis (PCA) [9], balanced local discriminant embedding (BLDE) [3], pairwise constraint discriminant analysis and nonnegative sparse divergence (PCDA-NSD) [10],etc.
这个PCA之类的降维操作是之前的各种方法普遍采用的预处理手段。实际上,即使是CNN方法,之前也都是用来提取spatial特征,然后和spectral特征合并,用来train分类器的。因此这里作者主要提到的就是这一点,作者认为他们的CNN可以直接同时把这两个特征都提取到。这也是本文的一个contribution。
The multi-scale filter bank is basically used to exploit various local spatial structures as well as local spectral correlations. 其实就是简化版的inception。。。
测试实验用的还是那三个开源数据集:
145×145 pixels for the Indian Pines dataset,
610×340 pixels for the University of Pavia dataset,
512×217 for the Salinas dataset
Indian pines,pavia U, Salinas。
本文号称是第一篇用较深的网络做这个任务的文章,并且可以同时提取spatial-spectral特征,以及用了很多诸如inception和ResNet的结构。
网络模型如下:
训练方法如下图:
对高光谱中的像素点进行随机采样,得到训练集和测试集,采到的点及其5x5的邻域构成的patch作为输入,对应的ground-truth作为reference,投入到上面的网络进行训练。测试结果也是用这样的多通道的小patch来做的。
另外,为了避免过拟合,作者对patch做了水平和竖直方向及对角线方向的镜像,从而实现了4倍率的augmentation。
实验结果:
和基于网络的方法相比,该文的结果达到了SOTA。
03月20日21:19:44