高分辨率对地观测系统(高分专项)是国务院发布的《国家中长期科学和技术发展纲要(2006-2020年)》中确定的16个重大专项之一,通过建设高分辨率先进对地观测系统,全面提升我国自主获取高分辨率数据的能力。今后高分专项的重点之一将转向应用建设,其中卫星平台的在轨信息处理能力尤为突出。星载嵌入式信息处理模块是一种较为理想的选择,借助FPGA的并行化计算优势,能够在低功耗、小体积的约束下完成图像信息的实时处理任务。目前在轨的诸如WorldView-3、Sentinel-2等卫星能够提供高时相短波红外多光谱图像,显著地提高了火灾救援、环境监测以及目标检测等对地观测应用。与可见光图像相比,这种新型短波红外多光谱图像的空间分辨率较弱,对小尺寸的地面目标感知能力有限。提高空间分辨率的有效途径之一是借助可见光图像丰富的空间细节信息,通过图像融合的途径达到。
融合模型
本文以WorldView-3卫星的全色图像与短波红外多光谱图像为测试用例,从图像的空间特征入手,设计基于双边纹理滤波的融合模型,依托FPGA数字电路可定制及其并行计算的优势,实现了基于FPGA的短波红外与可见光图像融合系统。全色图像成像光谱在可见光范围内,空间分辨率极高,细节信息十分丰富,在使用全色图像作为可见光图像与短波红外图像进行融合时,由于二者之间空间分辨率差异过大,使得全色图像中的空间细节相较于短波红外图像以纹理特征显示更为突出,而短波红外图像则以大尺度结构特征描述了地物目标。因此,融合模型利用双边纹理滤波器去感知全色图像的空间纹理特征,进而将全色图像中的结构和细节纹理信息进行分离,再利用增益矩阵对细节纹理按波段进行调制,最后将空间细节注入至短波红外图像各波段中,得到高分辨率的短波红外图像。
融合模型如图1所示,将原始短波红外图像记为SWi,i=1,2,…,N,N为短波红外图像波段数,全色图像记为P,上采样短波红外图像记为 ,i=1,2,…,N,h表示与全色图像同尺寸,结构图像记为PL,细节信息记为D,增益矩阵记为Gi,i=1,2,…,N,融合结果记为 ,i=1,2,…,N。
融合系统设计
利用ZYNQ 7100开发平台丰富的逻辑资源,在可编程逻辑部分对融合模型进行实现,并结合处理系统进行调度控制,最后通过HDMI接口将融合结果输出到显示设备。融合系统的结构框图如图2所示,将所要处理的短波红外与可见光图像数据通过HDMI输入接口送入ZYNQ 7100开发板,使用SIL9013芯片进行解码,然后在PL端部署图像融合模块对这两类图像进行融合处理,通过PS端协助缓存单元对融合结果在DDR3上进行缓存,最后,使用ADV7511编码芯片将融合图像通过HDMI输出接口输出,最终在显示器上显示。
系统中的图像融合模块设计是关键所在,可以根据硬件资源以及融合模型将该模块划分为多个子任务,如图3所示。
(1)图像分流:由于WorldView-3数据集使用单波段全色图像和8波段短波红外图像,而硬件平台仅含有一个HDMI接口,因此需要对传进来的视频数据进行分流,将其分解为待处理的全色与短波红外图像;(2)上采样:由于短波红外图像与全色图像尺寸相差较大,因此需要对短波红外图像进行上采样至可见光图像大小;(3)图像细节信息提取:对全色图像应用双边纹理滤波,通过访问BRAM加速计算过程,提取其边缘结构信息,通过两者差值得到可见光图像的空间细节信息;(4)图像融合:将提取到的细节信息通过增益矩阵注入至上采样后的短波红外图像中,便可得到融合结果。
此外,对融合模块的进一步优化包括PIPELINE优化、LOOP UNROLL优化、DATAFLOW优化、BRAM映射等。例如,双边纹理滤波过程涉及联合双边滤波,需要用到复杂的指数运算得到灰度相似权重系数和空间邻近度相似权重系数。使用HLS开发时,如果直接进行指数运算,则会消耗大量的DSP48计算资源,且运算时间长。因此,可以提前按照精度要求将指数运算结果存入BRAM中,然后在计算时按照地址查找结果,通常可以在1个时钟周期内完成。因此使用BRAM查找系数权重代替直接计算的方式,可以有效减少资源消耗和计算时间。对于灰度相似权重系数,其个数与像素值位宽有关,数量有限,因此可以使用两个像素的灰度值差作为相应系数的查找地址。当像素位宽是8的时候,像素灰度值差的取值范围是0—255,共计256个,因此BRAM深度为256,每个权重系数选取float类型进行保存,总共消耗256×32bit的RAM资源。对于空间邻近度权重系数,当滤波器大小固定时,该系数数目固定,且关于水平和垂直方向对称,因此可以预先计算窗口对应空间距离的部分权重系数,根据像素的空间位置直接得到系数。优化后的HLS综合报告如图4和图5所示。
硬件融合系统的验证
针对短波红外多光谱图像的硬件融合系统设计如图6所示,将需要融合的可见光图像与短波红外图像通过HDMI接口输入至硬件平台,通过Video In to Axi-stream IP,将视频数据转化为AXI4 Stream流数据格式,然后使用融合模块对数据流进行处理,得到融合结果数据流,然后使用AXI VDMA模块访问DDR3,实现帧缓存功能,最后通过Axi-stream to video out完成融合图像的HDMI显示输出。
系统测试与分析
测试图像为WorldView-3卫星数据集,包括8波段多波红外多光谱图像和单波段全色图像。短波红外图像空间分辨率为7.5米,全色图像空间分辨率为0.3米。融合实验输入为8波段48×48像素短波红外图像和单波段1200×1200像素可见光图像。图7(a)展示了短波红外多光谱图像(波段1-2-3彩色合成),图7(b)为全色图像,融合输出展示如图8。为适配显示器分辨率,融合结果采样至1080×1080像素大小,如图8左侧所示,图中右侧为通过SDK填充的背景像素区域。
为了验证硬件系统输出的正确性,采用同一显示器将融合模型的Matlab仿真结果进行输出显示,如图9所示。根据图8与图9的比较,硬件融合系统输出的目视效果与软件仿真结果能够保持一致,说明系统工作正常。
结束语
本文介绍了针对星载短波红外多光谱图像的硬件融合系统,首先根据图像特点设计有效的融合模型,再采用FPGA ZYNQ 7100开发平台实现了短波红外图像与全色图像的融合,系统功能仍有待完善,相关研究工作为星上数据处理技术奠定了基础。进一步提高卫星在轨信息处理系统的实时性和智能化将是未来研究热点之一。
注:(1)本文内容不涉密。(2)一并致谢本文参考与引用的所有学术论文、著作以及产品技术手册等。(3)一并致谢本文撰写、修改、审校过程中的专家、学者和其他工作人员。(4)本文第一作者:李旭,lixu@nwpu.edu.cn;通讯作者:张雷,reizhg@tongji.edu.cn
(本文作者李旭、吴旭刚、李立欣就职于西安西北工业大学电子信息学院;张雷就职于上海同济大学上海自主智能无人系统科学中心)