A Fully Progressive Approach to Single-Image Super-Resolution

这篇文章在2018年发表与CVPR的一篇文章。

摘要

To obtain more photorealistic results, we design a generative adversarial network (GAN), named ProGanSR, that follows the same progressive multi-scale design principle. This not only allows to scale well to high upsampling factors (e.g., 8×) but

constitutes a principled multi-scale approach that increases the reconstruction ualit or all u sam lin actors simultaneously.
作者设计了一个生成对抗性网络（GAN）命名为ProGanSR,它遵循相同的渐进多尺度设计原则。这不仅可以从低到高的上采样因子（x8）,而且构成了一个原则多尺度方法，同时提高上采样因素的重建质量。这种模型的运算速度快。

介绍

高分辨率显示器的广泛使用和基于深度学习的图像处理的快速发展最近引发了人们对超分辨率的兴趣，特别是对单图像超分（SISR）通过学习从LR到HR的映射，取得了令人印象深刻的成果。分辨率图像的基础上的数据。通常情况下，扩大尺寸是一个深度神经网络（DNN），DNN以完全监督的方式进行训练，有LR补丁和相应的HR目标组成元组。DNN能够学习抽象的特征表示输入图像中，允许在一定程度上消除奇异的细节在人力资源输出。
大多数现有的SISR网络采用以下两种直接方法之一。第一个上采样LR图像用插值法（双三次插值）学会如何模糊。第二个上采样在最后记性，典型的是亚像素卷积层或转置卷积去获得HR的结果。第一种上采样占用很大的内存和需要很高的计算代价，因为它操作上采样的图像，第二类更容易出现棋盘伪影，原因是上采样的级联。
在这篇文章中，提出了一种方法：结构和训练渐进的方法。重建一个高分辨率图像的中间步骤，逐步执行2倍的上采样输入从上一级。作为金字塔每一层的结构块，提出了密集压缩单元，这些单元是从密集块中调整来适应超分辨率的。与现有的渐进SISR模型相比。我们通过简化网络中的信息传播来提高重建精度；此外，还提出了一种不对称的金字塔结构，在较低的层上有更多的层，以便在保持高效的同时，提高上采样的效率。为了获得更真实的效果，采用GAN框架，通过对每个尺度的上剩余输出进行计算，设计一个与我们网络的渐进性相匹配的鉴别器，这种匹配对渐进设计使能够在一次训练中获得具有统计鉴别器的多尺度发生器。
这个框架，可以自然地利用“课程学习”的像是，通过将学习的过程从简单（小的采样因子）组织到困难（大的采样因子）提高训练。与普通的相比，不仅提高了上采样因子的结果，而且显著缩短了总训练时间，稳定了GAN训练。

相关的工作

SISR是一个很火的领域，这个问题的病态性以典型地使用统计技术处理：最显著的图像先验，如尾部的梯度分布，梯度分布，多尺度递归。在重建技术中，早期的方法首先对LR进行预处理，然后喂入CNN中去学系高分辨率图像的特征表示，计算代价较大。为了克服这一困难，许多方法选择在定位特征上进行操作，并在网络的末端通过亚像素卷积进行上采样。随后又出现了渐进重构的方法LapSRN。在他们的工作中，上采样遵循拉普拉斯金字塔的原理，即每一层都学会预测一个残差，应该解释一个简单的上一级和期望的结果之间的区别。由于损失函数时在每一个尺度上进行的，这提供了一种中间的su-pervision形式。赖等人用深度和更广的递归结构和多尺度训练改进了LapSRN，提高了精度。

渐进多尺度超分辨率网络

给定一组n个LR输入图像和对应的HR目标图像(x1，y1)，，(xn，yn)]，我们考虑估计一个提升函数的问题:其中X和Y分别表示LR和HR图像的空间。对于大的上采样率，为上尺度函数u找到一个合适的参数是具有挑战性的。英:比值越大，所需的函数类越复杂。
为此，我们提出了一个渐进的解决方案来学习上尺度函数。我们提出了我们的金字塔结构ProSR，用于多尺度的超分辨率。我们提出了ProGanSR，一种用于知觉增强的渐进多尺度GaN最后，我们在第三部分第四部分讨论了一个课程学习方案。
我们提出了将u分解为一系列更简单的函数U0，Us的金字塔分解。每个功能或级别的任务是改进特征表示和执行自己输入的2倍上采样。金字塔的每一级由密集压缩单元(DCU)的级联以及随后的子像素卷积层组成。我们在金字塔的低层增加了DCU，导致了结构的不对称。在较低的金字塔有更多的计算能力.因此，在重建质量和运行时间方面，它优于对称变体。虽然u的分解是在金字塔水平之间共享的，我们还使用了两个特定规模的子网络，表示为v s和r s，它允许在不同规模的图像空间和归一化空间之间进行单独的变换。我们的渐进式上采样架构的示意图在图2中详细说明。
To simplify learning, the network is designed to output the residual
（1）
w.r.t a fixed upsampling of the input ϕs(x) through e.g. bicubic interpolation. Thus, for a given scaling factor s the
estimated HR image can be computed as

值得注意的是，我们的网络并不遵循拉普拉斯金字塔如[2122]中的中间原则，即中间子网输出既不受监督，也不用作后续级别中的基图像。这种设计优于拉普拉斯替代，因为它简化了向后传递，从而降低了优化难度。此外，我们不下采样地面真相创建标签这是在[2122]中为中间监督做的。这避免了可能由子采样产生的伪像。

Dense Compression Units：我们基于最近提出的DenseNet架构的每个金字塔级别的建设[16]类似于跳过连接T151，密集的连接改善梯度流缓解消失和梯度膨胀。
金字塔每一层的核心部件是一个密集压缩单元(DCU)，它由一个改进的密集连接块和1X1卷积Conv(1,1)组成。原始密集层由BN-RELU-Conv (1，1)-BN-RELU-COnv(3，3)组成。根据最近在超分辨率[9，24，38]中的实践，我们删除了所有批处理规范化（BN）。然而，由于以前各层的特征可能具有不同的尺度，我们还删除了第一个ReLU，以使用CoNv(1-1)重新缩放特征。这导致了改性的致密层组成:Conv(1,1)-RELU-CONV(3，3)。与DenseNet相反，我们在每个DCU的未尾用一个Cnov(1,1)压缩层来打破密集连接，该层有效地重新组装信息，并导致轻微的性能提升，尽管密集连接的断裂。对于一个非常深的模型，我们应用金字塔式以及局部剩余链接来改善梯度推进，如图2所示。
渐进式GAN：生成对抗网络（GANS）已经成为提高SISR上采样图像[14,23,28]的感知质量的有力方法。然而，训练GAN是非常困难和将GAN应用于SISR的成功仅限于单个以相对较低的目标分辨率放大采样为实现多尺度GAN增强SISR，提出了一个模块化的渐进式的鉴别器网络。该架构有一个倒金字塔结构，其中每一级逐渐减少与AvGPOOLING输入图像的空间dimension。为了适应网络多尺度的输出，网络是完全卷积的，并输出一小块类似PatchGAN的羽毛。
类似于发电机网络，鉴别器对原始的图像和双三次向上采样图像之间的残差进行运算这允许生成器和描述器只集中标准上采样操作尚未很好的捕捉到重要的变量源。由于这些样本很难很好地提升样本，所以它们对应于最大的百分比错误。这也可以看作是从鉴别器中减去依赖于数据的基线，这有助于减少方差。

作为训练目标，我们使用更稳定的最小二乘损失，而不是原来的交叉损失表示预测和实际残差。

Curriculum Learning ：是一种提高训练的策略通过逐渐增加困难的学习任务。经常被用于一系列预测任务和序列决策问题中，在训练时间和泛化性能方面可以获得较大的加速。U的金字塔分解，使我们能够以一种自然的方式应用课程学习。一个训练样本（x,yi)标度s的损失可以定义为：