深度学习磁共振图像超分与重建算法研究
Super-resolution reconstruction of MR image with a novel residual learning network algorithm (Physics in Medicine and Biology,)模型结构局部残差连接块LRB不同尺度映射实验Prior-Guided Image Reconstruction for Accelerated Multi-Contrast MRI via Generative Adversarial Networks(JSTSP )两种加速（多模态）磁共振的方式rsGAN：融合两种方式的GAN模型实验Compressed Sensing MRI Reconstruction using a Generative Adversarial Network with a Cyclic Loss(TMI )GAN模型与Cyclic Loss模型结构与损失函数实验结果复数域实验近期一部分工作和磁共振图像的重建有关，传统方法的研究比较纯熟，而深度学习方法的多样性比较高，需要阅读一些论文来进行学习。
Super-resolution reconstruction of MR image with a novel residual learning network algorithm (Physics in Medicine and Biology,)
本文参考自然图像的超分辨率算法并作出改进，将残差学习运用到了磁共振图像上，其主要特点有：
学习插值得到的插值低分辨率图像（ILR）和高分辨率图像之间的残差而非直接学习高分辨率图像。通过在内部使用局部残差块（LRB），并增加模型的宽度，从而学习更多高频信息。通过上采样下采样的不同尺度的卷积特征上进行学习，获得不同尺度的特征。
总的来说除了对高频信息更加重视之外基本和传统图像的超分方法区别不大，损失函数也是传统的MSE函数。作为基线模型还是比较合适的。
模型结构
如下图所示，输入是经过插值得到的和高分辨率的尺寸一致的图像：
局部残差连接块LRB
为了更有针对性地解决传统残差连接可能带来的退化问题，作者使用了局部残差链接块（LRB）来替代原始ResNet的Block，其主要特点包括：
同时使用浅卷积分支（Shallow Convolutional Branch）和深卷积分支（Deep Convolutional Branch），SCB负责捕捉更多语义丰富的高频信息。网络的宽度更宽，并随诊层数增加宽度更加增加。
下图左侧为传统残差块，右侧为本文提出的结果：
不同尺度映射
为了提升网络获取不同尺度信息的能力，模型进行了不同尺度下的操作。与其它方法对图像做上采样下采样进行操作不同，模型直接对特征进行下采样（使用平均池化）和上采样（采用反卷积）操作。
实验
在Brainweb合成数据集（不同噪声比例）和ALVIN和BARTS真实数据集上进行实验。采用原图作为标签，使用1体素的高斯核来进行图像模糊操作后再进行8体素下采样，模拟partial volume现象。所有实验都是在2D磁共振图像上进行。
作者和插值算法、低秩重建算法等传统方法以及图像经典的超分算法（VDSR，FSRCNN等）进行了比较，再PSNR和SSIM上都超过了这些算法（这是自然的，不做展示了）。
作者还对DCB和LCB的作用做了消融实验，证实了他们的作用（不过我看似乎差距不是很大，差距可能来自于参数量的减少）。
同时作者将PReLU换成了ReLU进行了实验，虽然效果下降，但是仍然好于其他算法中最好的VDSR算法（应该是为了说明其优越性不只是来自于蒸激活函数的改进）。
Prior-Guided Image Reconstruction for Accelerated Multi-Contrast MRI via Generative Adversarial Networks(JSTSP )
本文提出了rsGAN，一种新的重建/生成不同模态磁共振数据的方式，融合了重建和生成的技术路径，特别强调了对于高频信息的恢复。思路比较简单清晰。
两种加速（多模态）磁共振的方式
在临床诊断中，不同模态的磁共振数据可能在信息上有不同的侧重，结合多个模态的磁共振图像可以获得更好的效果，然而由于有限的时间等因素，获得多个模态的信息比较困难，因此需要加速获取的方法。
传统意义上，主流的加速磁共振的方式是通过在K空间的欠采样+重建算法实现，由于压缩感知原理，问题的重点就成为了寻找一个合适的稀疏域作为正则项，或者直接训练端到端的模型。虽然深度模型表现良好，但是由于欠采样造成的高频信息的丢失会影响诊断效果。
另外一种方式则是使用全采样（或相对不那么少的欠采样）的一个模态的数据生成另一个模态的数据，即在原模态下先在低分辨率下进行全采样，然后使用生成器生成另一个模态的模型。但是由于不同模态的组织对比度等信息不同，在重建过程中可能会出现对于病灶的缺失或伪影。
本文综合了两个方式的有点，并引入GAN损失结构，提出了自己的模型。
rsGAN：融合两种方式的GAN模型
模型结构如下所示，比如现在要重建T1模态的全采样磁共振数据，GAN生成器的来源就包括了源模态（T2）的全采样数据，以及目标模态的欠采样数据。
为了取得良好的生成效果，模型引入了conditional GAN的架构进行生成，还使用了Perceptual Prior模型用来辅助恢复高频信息，以及传统的pixel损失。
实验
对标模型上，作者选择了只进行重建的GAN网络（rGAN）和输入两个模态的低分辨率图像的GAN网络（jGAN），一个类似的模型（sr-sGAN）。从结果上看，rsGAN对于高频信息的处理更好，因此相比于rGAN或jGAN有更好的加速比，相对于sr-sGAN，模型在更低加速比的情况下可以取得增强的结果。
作者在MIDAS，IXI，BRATS数据集，和一个多线圈数据集上进行了实验，前两个数据集使用仿射变换或互信息方式将T2数据配准到T1上。
部分结果如下：
Compressed Sensing MRI Reconstruction using a Generative Adversarial Network with a Cyclic Loss(TMI )
本文提出了一种新颖的GAN模型，RefineGAN，使用Cyclic损失增强了数据的一致性并提升了重建能力，在时间和质量上都大大超过现有的GAN模型。
GAN模型与Cyclic Loss
本文使用GAN模型进行高清图像生成，其基本结构如下，从低质量的欠采样图像生成高质量的图像，并和原图一起输入判别器判断真伪：
同时，为了避免生成器在学习到足够数据分布的情况下直接抛出不匹配但是高质量的样本，作者额外引入了Cyclic Loss损失用于确保数据一致性。包含两项，分别是LfreqL_{freq}Lfreq和LimagL_{imag}Limag，如下图所示，其中LfreqL_{freq}Lfreq是将重建后的图像重新降采样后，和输入生成器的降采样图要尽可能相似，而LimagL_{imag}Limag则是要求重建的图像和袁术高分辨率图像尽可能相似。在这两种情况下，相似性的度量可以采用MSE或MAE进行。总体来说，通过施加像素级别的损失，模型提升了生成结果的质量。
损失函数公式如下，i和j彼此独立，也就是说这两个损失独立从输入G和G生成的结果中采样计算：
模型结构与损失函数
模型的整体结构基于自编码器，完整结构包含Encoder和Decoder，生成器网络既包含编码器也包含解码器，判别器网络只包含生成器那一半的结构。生成器还可以进行多个自编码器的串联(权重不共享)，以达到类似迭代和纠错的功能，单个自编码器的模型为ReconGAN，两个串联的为RefineGAN。
完整的损失函数就是GAN损失和之前提到的Cyclic Loss，下面的α=1.0\alpha=1.0α=1.0,γ=10.0\gamma=10.0γ=10.0。
实验结果
作者在IXI数据集（大脑）和Data Science Bowl挑战数据集（胸腔）数据集上衡量了模型的表现（每个数据集选择100张训练100张测试）。所有数据都进行了实数域转换和归一化。
在运行速度上，肯定超过了其它CPU的模型，另外由于模型是single-pass的，所以很适合GPU加速，所以也比需要迭代的DeepADMM等方法要快。SingleGAN也采取类似的single-pass结构因此速度类似。
另外作者使用PSNR，SSIM和NRMSE等指标衡量了生成质量，本文的模型也是最好的：
复数域实验
通过为输入图像增加一个通道，模型可以推广到复数图像中。作者在knees datast中选择了数据集全部30个3D图像中间的10个slice进行数据集划分（训练测试各100个），也取得了很好的效果。
