空间信息并行处理方法与技术

第1章 绪论 1

第2章 高性能计算与高性能地学计算 5

2.1 高性能计算演化进程 5

2.1.1 向量机、向量并行机时代 5

2.1.2 大规模并行计算时代 6

2.1.3 异构并行计算时代 7

2.1.4 云计算与大数据时代 8

2.2 常见的高性能计算硬件平台 9

2.2.1 Linux集群平台 9

2.2.2 GPU平台 10

2.2.3 集成众核MIC平台 11

2.3 常见并行模型与方法技术 14

2.3.1 MPI并行模型 14

2.3.2 OpenMP并行模型 15

2.3.3 CUDA并行模型 16

2.3.4 OpenCL并行模型 17

2.3.5 云计算编程技术 20

2.4 衡量高性能计算并行算法的指标 22

2.4.1 计时工具 22

2.4.2 加速比 22

2.4.3 执行效率 23

2.4.4 可扩展性 23

2.4.5 阿姆达尔定律 23

2.5 高性能地学计算 24

2.5.1 高性能地学计算研究现状 24

2.5.2 高性能地学计算未来展望 26

2.6 本章小结 26

第3章 基于集群平台的MPI并行数据处理技术 28

3.1 概述 28

3.1.1 并行计算基础 28

3.1.2 MPI及岛filICH 29

3.1.3 相关研究现状 31

3.2 基于集群的MPI并行计算方法 31

3.2.1 集群平台类型的选择 31

3.2.2 编程开发模型和工具的选择 32

3.2.3 需要开发的并行程序的定位 32

3.3 基于Linux集群平台的MODTRAN并行算法 33

3.3.1 应用背景概述 33

3.3.2 MODTRAN数据处理并行化研究现状 36

3.3.3 PMODTRAN并行算法设计 37

3.3.4 PMüDτ'RAN并行算法实现 38

3.3.5 PMODτ'RAN并打算法性能测试 41

3.4 基于Linux集群平舍的等高线生成并行算法 44

3.4.1 栅格DEM生成等高线算法原理 45

3.4.2 优化后的等高线追踪串行算法实现 47

3.4.3 串行算法热点分析 51

3.4.4 栅格DEM生成等高线并行算法设计 53

3.4.5 栅格DEM生成等高线并行算捷实现 55

3.4.6 栅格DEM生成等高钱并行算法实验与测试 58

3.4.7 栅格DEM生成等高线并行算法的进一步优化 61

3.5 基于Windows集群的MPI并行处理方法 66

3.5.1 Windows集群搭建与配直 67

3.5.2 基于Windows集群的并行算法设计与实现 67

3.6 本章小结 69

第4章 基于Intel多核/众核平台的OpenMP井行数据处理技术 71

4.1 概述 71

4.1.1 多核与MIC设备 71

4.1.2 OpenMP编程模型 72

4.1.3 基于Intel多核/众核计算平台的研究现状 74

4.2 基于Intel多核/众核平台的OpenMP并行数据处理方法 75

4.3 基于Intel多核平台的坡度坡向并行算法 77

4.3.1 坡度坡向算法原理及串行实现 77

4.3.2 利用句enMP实现坡度、坡向并行算法 80

4.3.3 在多核平台上并行坡度、坡向算法性能测试 80

4.4 基于Intel多核/众核平台的NLM图像处理并行算法 81

4.4.1 NLM图像处理并行算法原理 81

4.4.2 NLM算法并行化研究现状 83

4.4.3 基于多核平台的NLM并行算法并行化设计 84

4.4.4 基于Intel多核/众核平台的NLM并行算法实现 85

4.4.5 基于Intel众核平台MIC的NLM并行算法实现 87

4.4.6 NLM并行算法在Intel多核/众核平台上的性能测试 88

4.5 本章小结 93

第5章 基于GPU平台的CUDA/OpenCL并行数据处理技术 94

5.1 概述 94

5.1.1 GPU与通用GPU计算 94

5.1.2 CUDA与OpenCL编程模型 95

5.1.3 通用GPU计算在地学领域的应用现状 96

5.2 基于GPU的空间信息并行处理方法 97

5.3 利用CUDA实现压缩感知重构并行算法 98

5.3.1 压缩感知重构算法原理及实现 98

5.3.2 压缩感知重构算捷并行化研究现状 99

5.3.3 压缩感知重构算法热点分析及其并行化设计 100

5.3.4 基于CUDA的压缩感知重构并行算法实现 102

5.3.5 基于CUDA的压缩感知重构并行算法性能测试 104

5.4 基于OpenCL的压缩感知重构并行算法 105

5.4.1 基于句OpenCL的压缩感知重构并行算法实现 105

5.4.2 基于OpenCL的压缩感知重构并行算法实验 110

5.5 本章小结 112

第6章 基于CPU GPUIMIC异构平台的协同并行数据处理技术 113

6.1 概述 113

6.2 基于CPU MIC/GPU异构平台的协同井行处理方法 114

6.3 基于CPU MIC异构计算平台下的NLM协同并行算法 117

6.3.1 CPU MIC协同的NLM并行算法 117

6.3.2基于动态任务分配的C臼PU 阳C协同NLM并行算法 199

6.4 基于CPU PUIMIC异构计算平台下的泛Kriging协同并行算法 124

6.4.1 Kriging算法并行化研究现状 124

6.4.2 Kriging算法原理及其实现 125

6.4.3 基于句enCL的泛Kriging并行算法设计 127

6.4.4 基于句enCL的泛Kriging并行算法实现 130

6.4.5 基于CPU GPU!MIC异构平台的泛Kriging并行算法性能测试 138

6.5 不同异构计算平台算法性能对比实验 141

6.6 本章小结 143

第7章 基于大数据Sp缸k平台的并行数据处理技术 144

7.1 概述 144

7.2 云计算与大数据及其关键技术 145

7.2.1 云计算与大数据 145

7.2.2 Hadoop 146

7.2.3 Sperk 148

7.2.4 Docker容器虚拟化技术 151

7.2.5 大数据集群资源管理框架 153

7.3 基于云计算/大数据平台的并行数据处理方法 155

7.4 DBSCAN算法及其在Spark平台上并行设计与实现 156

7.4.1 nBSCAN算法 156

7.4.2 nBSCAN算法并行化现状 158

7.4.3 nBSCAN并行算法在Spark平台上的设计与实现 160

7.4.4 nBSCAN并行算法在Spark平台上的优化 165

7.4.5 nBSCAN并行算法在不同资源管理器模式下的并行实现 168

7.5 DBSCAN并行算法性能测试与分析 170

7.5.1 实验平台及配置 170

7.5.2 实验数据 171

7.5.3 实验内容 171

7.5.4 测试结果及分析 172

7.6 基于Spark平台的DBSCAN并行算法在城市拥培区域发现应用 177

7.6.1 nBSCAN并行算法在城市拥培区域发现的应用流程 177

7.6.2 实验数据与平台 178

7.6.3 实验测试与分析 178

7.7 本章小结 182

参考文献 183 2100433B

本书着眼于空间信息处理领域的行业应用/算法，采用现阶段主流的多种高性能计算平台和对应的编程模型，对实际的空间信息处理算法的不同并仔计算模式进行研究，形成基于集群的MPI并行计算方法、基于多核IMIC的句也阻并行计算方法、基于GPU平台的CUDAI句enCL并行计算方法、基于CPU GPU协同的异构并行计算方法，以及基于Spark平台的大数据并行计算方法.这些计算方法都有各自适用的范围及优势，作者通过实例为读者提供选择性较多的变间信息并行处理参考方法，从而为大规模的雪间数据处理与分析提供技术支持。

并行审计技术随着信息技术的快速发展，当前已形成了多种并行审计技术。但是，我们可以将其分为三类：一是当应用系统进行处理时，利用测试数据对系统进行评价；二是当应用系统进行处理时，追踪或映射应用系统的变化状况；三是当应用系统进行处理时，选择交易进行审计复核。基于上述分类，下面分别介绍三种并行审计技术：综合测试、快照和系统控制审计复核文件，它们依次对应上述三类并行审计技术。

并行审计技术综合测试

综合测试（ITF）是在应用系统正常处理其业务时，用测试数据对系统进行检测的一种方法。这种方法要在应用系统的文件中建立一个虚拟实体，并让应用系统处理该实体的审计测试数据。例如：应用系统是工资系统，可在其数据库中建立一个虚拟的职员；应用系统是一个存货系统，可在其数据库中建立一个虚拟的存货项目。测试数据和正常产生的业务数据一同输入应用系统进行处理，通过将应用系统对测试数据处理的结果同预期结果进行比较，可确定应用系统的处理和控制功能是否恰当、可靠。采用综合测试法将会涉及两个问题：采用何种方法建立测试数据与采用何种方法消除综合测试交易对系统的影响。

1.建立测试数据的方法。第一种方法是对被审计单位的现场交易做标记输入到应用系统中，视带标记的交易为测试数据。采用这种方法，应用系统中必须有特定的计算机程序能够识别出带标记的交易，并且使这些交易既要更新应用系统的主文件，同时也要更新ITF虚拟实体。

给现场交易做标记视为测试数据 选择和识别ITF交易有多种策略。第一，在源文件中或屏幕布局中包含一个专门的标识字段，用来表示一笔交易即为正常交易又为ITF交易。由审计人员来选择确定对哪些现场交易做标记，所选交易的特征可以与测试数据的设计相一致，也可以根据制定的抽样计划进行选择。第二，在应用系统的程序中嵌入审计软件模块，利用审计软件来选择交易并给交易加标记使其成为ITF交易。第三，在应用系统中嵌入抽样程序，抽样程序具有根据抽样计划给交易做标记，并使其成为ITF交易的功能。不论采用何种策略，应用系统中必须有相应的处理程序，专门处理带标记的交易。

给现场交易做标记使其成为ITF交易的优点是：容易使用，并且测试交易代表了系统的正常处理业务。但是这种方法也有缺点：首先，使用现场数据限制了对系统的全面测试；其次，在应用系统中追加代码来识别做标记的交易，并以特定方式处理这些交易，可能会影响其正常处理，如：它可能降低系统的响应时间。

第二种方法是自行设计测试数据，测试数据与现场交易数据一同输入应用系统。采用这种方法，审计人员应当根据所要使用的测试数据的特征来设计并创建测试数据。

自行设计测试数据同从现场交易中选择测试数据相比，测试数据的覆盖面大，可全面测试系统，但设计和建立测试数据要花费一定的时间和费用。

2.消除ITF交易的影响。在应用系统中出现ITF交易会影响其输出结果，因此，必须消除ITF交易的影响。可采用下列方法消除ITF交易的影响：一种方法是修改应用程序使其能够识别ITF交易，并消除ITF交易对用户的影响；另一种方法是提交额外的输入，抵销ITF交易的影响。

并行审计技术快照（Snapshot）

当应用系统非常庞大或复杂时，追踪通过系统的不同执行路径会有一定难度，审计人员要想对交易进行审查，会面对一定的困难。对此情况，可以利用快照技术来进行审查。快照技术是指当交易通过应用系统流动时，让软件给交易拍“像”。通常是在应用系统的重要处理发生点嵌入软件，当交易通过不同处理点时，嵌入软件可捕捉交易的映像。为证实不同快照点的处理，审计人员使软件捕捉交易的前映像和后映像，通过检验前映像、后映像及其变换，评价交易处理的真实性、准确性和完整性。

实施快照技术主要涉及以下三个方面：第一，确定应用系统中快照点的位置，它也是审计的关键点。审计人员可根据应用系统中每一处理点的重要性来确定快照点的位置。第二，确定何时捕捉交易快照。可让嵌入软件对某些高风险的交易始终做快照，也可安排嵌入软件，根据某类抽样计划做不同交易的快照。第三，嵌入软件必须对每一交易提供身份识别和时间戳，以使审计人员能确定，快照数据应用于哪一笔交易、交易通过不同快照点时其状态变化情况如何、捕捉到的快照数据是哪一个处理点的、捕捉到每一处理点的快照数据是何日何时的。此外，还应设计相应的快照报告生成系统，使其能够按照审计人员的要求输出快照报告。

并行审计技术系统控制审计复核文件

系统控制审计复核文件（SCARF）是指在一个应用系统中嵌入审计模块，对该系统的交易进行连续监控。审计模块置于事先确定的点，用以采集审计人员认为重要的交易或事件信息，采集到的信息存放在一个专门的审计文件一一SCARF主文件中，审计人员通过审查该文件的信息，可以确定应用系统的哪些方面需要追查。

使用SCARF技术首先要确定由SCARF嵌入审计程序采集什么信息，其次要确定与SCARF一同使用的报告系统。

1.确定SCARF嵌入审计程序采集什么信息。在一个应用系统中，SCARF嵌入审计程序的性质和布局取决于审计人员所要采集证据的类型，在很多方面，SCARF技术与快照有相似的地方，它也可以捕捉快照。此外，还可以采集其他信息：应用系统的错误、系统的例外情况、统计样本等。

SCARF嵌入审计程序的完整性对于所采集证据的可靠性至关重要，因此必须采取措施对该程序的内容及其完整性加以保护。第一，应用程序中不应包含嵌入审计程序的源代码，只允许调用语句存在。程序源代码应保存在专门的库文件中，只有经过授权的人员才可访问。第二，支持该程序的文档也应妥善安全地保管。第三，对程序进行维护时，应当认真考虑如何维护，如果审计人员具有编程技能和知识，应自己进行维护，如果必须依赖他人，则必须寻求独立的第三方的帮助。

2.确定与SCARF一同使用的报告系统。

（1）确定SCARF文件如何更新。可为每一应用系统建立一个临时的、SCARF工作文件，由临时文件更新SCARF主文件，也可由每个应用系统直接更新SCARF主文件。

（2）把SCARF文件的数据进行分类并确定审计报告的格式。一个SCARF系统可采集大量数据，只有经过恰当分类，并采用适当的报告形式输出，才能为审计人员提供清晰的数据。

（3）确定报告的编制时间。编制报告期间的长度主要取决于所采集审计证据的重要性和生成报告的成本，如果SCARF系统识别出重要的异常情况，则让报告生成系统立即生成报告，而在多数情况下，则选择按一定的时间间隔生成报告。2100433B

本书论述了空间信息技术的基本理论、方法及应用现状。书中结合实际工程案例，分别阐述了空间信息技术在数字城市、土地资源管理、数字农业、导航、位置服务、港口信息化中的应用。本书面向空间信息技术领域的工程实践，提供了空间信息工程项目的方案设计、技术实施方面的案例经验。

读者对象：本书可供空间信息技术领域的工程师参考，也可作为高等院校地理信息类专业的教学参考书。

使用并行审计技术采集审计证据包括两个方面：一是为采集、处理和打印审计证据，需要在应用系统或系统软件中嵌入专门的审计模块。二是将采集到的证据存储在应用系统文件中或存储在专门的审计文件中，以便审计人员进行审查。