“一张图胜过千言万语”，图像作为获取信息最直接途径，对其所承载信息量的提升一直是人类的不懈追求，从近年来高分辨率图像的不断更新发展中可见一斑。但在很多领域如遥感、医疗、安防等，图像分辨率的提升往往受到成像传感器的硬件成本、制造工艺和信息传输条件的限制。特别是对体积、功耗、重量要求苛刻的卫星遥感领域，加大光学系统设计所带来体积和重量的增加是无法忽视的，因此如何在不增加卫星相机体积和重量的前提下，利用多时相低分辨率图像获取更多的高频信息，即遥感图像超分辨率重构成为研究者关注的问题。
钱学森空间技术实验室李峰课题组在国家自然科学基金和实验室自主创新课题的资助下，成功突破了遥感图像超分辨率重构的关键技术，利用多时相、同一场景的低分辨率遥感图像采用后处理的方式重构出高分辨率图像。图像配准和图像重构是超分辨率重构的两个关键技术。本课题针对由于大气扰动和平台抖动导致的图像间非规则的几何畸变和位置错位的问题，提出了适用于遥感图像的快速弹性图像配准方法；针对由于地表特征的复杂性而难以找到单一的通用变换域实现遥感图像的稀疏性表达的问题，构建了遥感图像在多重变换域下的稀疏表达，并把其作为先验模型引入到最大后验概率重构方法中，形成以？1范数最小化为核心的超分辨率重构代价函数。相关成果发表在IEEE Transactions on Geoscience and Remote Sensing上（F. Li, L. Xin, et al., 2017，SCI二区）。
依据上述方法，我们基于高分四号卫星数据开展了多组应用实验。高分四号是我国第一颗地球同步轨道光学遥感卫星，采用面阵凝视成像的方式，搭载了一台全色可见光50米/中波红外400米分辨率、大于400公里幅宽的凝视相机，具备可见光、多光谱和红外成像能力，具有高时间分辨率、宽阔的一次成像观测视野的优势。我们分别采用北京地区和海南三亚地区的全色遥感影像（空间分辨率为50米）进行2倍空间分辨率提升实验，并与常规方法（普通插值低分辨率图像LR和流行的超分辨率方法IBP）相比较。图1为对北京地区进行超分辨率重构的实验结果，原始图像数据为在两天内采集到的该地区的3幅图像，为了进一步说明重构效果，我们对图1第一行红框内的区域图像（故宫区域）进行了放大显示，并显示在第二行。在我们的重构图中红色箭头标注位置可以明显看到白色方块，对比Google Earth的实景图可以得知这是故宫东侧的一个停车场，而这是在其它方法的重构图像中难以得到的信息。
海南三亚地区的实验结果如图2所示，重构图由7幅连续拍摄采集到的GF-4图像经过超分辨率重构得到。为了进一步说明重构效果，我们同样放大了第一行红框区域的图像并显示在第二行，可见只有从我们的重构图像中可以看出有四个小码头，同样对比Google Earth，可以测得其中每个码头的宽度为21米左右，有趣的是，原始GF-4全色遥感影像的空间分辨率为50米，可见我们的方法确实在一定程度上实现了空间分辨率的提升。
北京地区超分辨率重构的实验结果
海南三亚地区超分辨率重构的实验结果
空间分辨率一般具有两层含义，一个是地面采样距离Ground Sampling Distance（GSD），另一个是地面解析距离（Ground Resolved Distance）。严格来说从测量的角度即GSD我们提升了2倍的空间分辨率，但从地面解析距离的角度来说，我们却必须要通过地面靶标来评价，这是很难实现的，因为很难在地面构建这个尺度的靶标场。同时由于真实的高分辨率图像往往无法得到，因而超分辨率技术研究的另一个瓶颈在于难以对重构质量进行客观评价。在这个方面我们也进行了深入探索。把原始多时相低分辨率图像插值配准后放大后的均值图像看作为经超分重构后图像的模糊图像，则我们可以引入点扩散函数（Pointed Spread Functions, PSFs）的概念对方法进行评价，利用维纳滤波计算超分图像与经过插值的低分辨率均值图像的PSF值，通常情况下，PSF的半峰全宽值与图像的模糊程度相关，宽度越宽图像越模糊，相应地，在这里PSF的半峰全宽值越宽则表明重构质量越好，北京和海南三亚数据相应PSF如图3所示。为了进一步地定量的评价重构算法的效果，我们利用高斯核逼近图像的PSF值，与PSF体积最接近的高斯核函数的方差即用来表征PSF半峰形状，标准方差σ越大说明半峰全宽值越大即重构的图像质量越好。如图3所示，可见与常规方法（普通插值LR和IBP）相比，无论从主观视觉上还是客观定量评价上，该重建方法能够得到更为清晰的超分辨率影像，有助于进一步基于遥感图像的准确解译。
不同方法重构图像PSF标准方差σ的比较（σ越大图像质量越好）
长久以来，超分辨率技术的实际应用也一直受限于多时相遥感图像的获取，有效载荷为线阵推扫相机的低轨遥感卫星的重返周期较长，例如美国陆地观测卫星系列一般的重复周期为16天，如果获取多幅同一场景的图像需要很长的时间，那么在这个期间，地物的场景很可能会发生变化，因而基于时间跨度较大的多时相数据实现超分辨率重构是不可行的。然而，随着我国地球同步轨道遥感技术、光学遥感星座组网技术和基于单星面阵CMOS相机技术的蓬勃发展，都为秒级或分钟级获取多时相数据提供了条件，因而超分辨率重构技术也将很快在我国迎来新的发展机遇。借此良机，课题组将进一步优化重构算法，结合深度学习相关理论，提升重构质量，缩短重构时间，降低算法复杂度，推动超分辨率技术发展和应用，争取早日实现超分辨率重构算法的星上实时处理。
