面向应用层的遥感数据分块技术及其应用

遥感是一种重要的地表观测技术，在许多领域有广泛应用。随着技术的不断进步，遥感技术已从传统低空间分辨率、多光谱向高空间分辨率、高光谱方向发展，使得遥感数据的体积过于庞大而无法一次性全部载入计算机内存进行处理。这种情况下，开展数据分块处理就显得尤为重要。当前针对遥感数据分块的模块主要在程序层级整合，且多数分块模块是商用的，这对应用层级的软件开发与集成并不友好。针对这一问题，本文提出一种面向应用层级别的分块机制，并利用IDL语言开发了针对遥感大数据文件自动分块和结果自动整合两个过程。在此基础上，以新疆吉木萨尔地区的航空高光谱条带数据为数据源，开展了分块、处理、整合实验，最终证明该机制和相关过程的可行性与实用性，不仅为后续开发应用层级别的遥感数据处理软件奠定基础，也可为开展数据并行处理和大数据网络传输提供帮助。

遥感技术具有空间覆盖范围广、数据获取速度快、信息丰富、价格便宜、无侵入等特点，在开展大区域尺度，特别是人力难以抵达地区，地表观测方面具有得天独厚的技术优势。因而在地质、环境、农业、军事等多个领域都有广泛应用[1]-[10]。近些年来，随着遥感技术的不断发展，遥感数据已从传统低空间分辨率、多光谱向高空间分辨率、高光谱方向转变[11] [12] [13]。

由于技术的进步，当前遥感数据所蕴含的信息比以往更为丰富，而与之匹配的数据量也不断增加。

以航空高光谱SASI 数据为例，由于其包含上百个波段，获取单条带的数据量通常在几个Gb 至十几个Gb， 而对长航带甚至可达几十个Gb。

面对如此庞大的数据量， 很多计算机内存无法一次性加载完整的数据， 因为这会导致溢出而使计算机系统崩溃。

此外， 过大的数据量也会给网络传输和在线处理带来困难。

针对数据量过大的问题， 前人提出了数据分块处理技术[14] [15]。

该技术的核心思想是将原先过大的数据拆分为一系列小数据块，保证每一个小数据块加载后不会发生溢出错误，再将小数据块依次加载到内存中进行处理，或依次通过网络进行传输，最后将处理或传输结果进行整合。

虽然数据分块技术在当前遥感数据处理领域已较为成熟，如商业软件ENVI 就引入了该分块机制。

但这种机制和相应的模块仅作用于程序层级，即需要在编程过程中引用和调取，这对单一编程语言开发的软件较为适用，因为不同过程间参数传递是通畅的，内存共享自由；但不适于应用层级的集成软件开发，因为集成软件各模块的开发语言和规范可能不同，一些模块还可能受版权、保密因素制约，无法从程序级别进行调取。不仅如此，由于ENVI 是商业软件，将分块功能写入自主开发的软件时需额外支付费用，这不利于软件的开发。

因此，本研究提出了一种应用层级的分块机制，并利用IDL 语言自主开发了超大文件分块功能，实现了对遥感大数据应用层级的分块，最后利用该技术对吉木萨尔地区的航空高光谱条带数据进行了处理