本书围绕建设天空地一体化时空大数据平台涉及的关键技术,从时空大数据平台的整体建设思路、时空大数据平台的架构出发,重点阐述时空大数据平台中的时空大数据管理与集成、时空大数据协同调度、时空大数据可视化等一系列关键技术,并对时空大数据应用平台进行详细分析,结合依托项目的示范应用,介绍天空地一体化时空大数据平台在智慧城市、数据治理、公共安全领域中的应用及效果。本书适合时空大数据教育、科研、应用相关领域的学者、工作者及对时空大数据感兴趣的普通读者阅读。
第1章 绪论 1
1.1 平台建设背景与意义 1
1.1.1 平台总体构成 2
1.1.2 数据分析 4
1.1.3 关键技术分析 5
1.2 平台建设目标、建设思路与建设原则 6
1.2.1 建设目标 6
1.2.2 建设思路 7
1.2.3 建设原则 7
参考文献 8
第2章 时空大数据平台框架 9
2.1 平台逻辑架构 9
2.2 平台技术框架 10
2.3 基于微服务的计算架构 12
2.3.1 微服务概述 13
2.3.2 微服务体系架构 14
2.3.3 微服务管理平台 15
2.3.4 微服务构建方法 15
2.3.5 微服务编排模式 16
2.4 时空大数据实时计算框架 17
2.4.1 基于流的时空大数据实时计算架构 17
2.4.2 时空大数据实时计算关键技术 18
2.4.3 基于边云协同的时空任务调度策略 22
参考文献 25
第3章 时空大数据管理与集成 26
3.1 天空地时空大数据 26
3.1.1 特点 26
3.1.2 分类 27
3.2 需求与挑战 28
3.2.1 高性能时空数据存储 28
3.2.2 时空大数据处理 29
3.2.3 多源异构数据一体化管理 29
3.2.4 时空大数据服务 29
3.3 时空大数据高性能云存储 30
3.3.1 基于列数据库的矢量数据存储 30
3.3.2 基于快照模型的时空栅格大数据存储 36
3.4 时空大数据处理 39
3.4.1 数据清洗与转换 40
3.4.2 时空网格处理 41
3.5 时空大数据一体化管理 43
3.5.1 二维空间数据组织 43
3.5.2 三维空间数据组织 44
3.5.3 分布式时空索引 47
3.6 时空大数据服务 50
3.6.1 二维空间数据服务 50
3.6.2 三维空间数据服务 55
3.7 地址匹配服务 59
3.7.1 地址实体语料库 60
3.7.2 地址实体抽取模型 64
3.7.3 地图知识提取算法 65
3.7.4 基于图卷积神经网络的地图与文本知识融合 66
3.7.5 智能地址匹配服务 68
参考文献 71
第4章 时空大数据链协同调度 72
4.1 数据协同链 72
4.1.1 含义 72
4.1.2 系统定位 74
4.2 工作流调度 74
4.2.1 工作流调度引擎 76
4.2.2 协作引擎 77
4.2.3 批处理引擎 78
4.3 跨平台异构服务编排调度 79
4.3.1 开放服务代理技术 81
4.3.2 自定义业务流程技术 81
4.3.3 异步调用机制 82
4.3.4 多云应用自动化部署技术 83
4.4 数据协同计算任务调度 84
4.4.1 基于预分类算法的云边自适应AI计算任务调度 85
4.4.2 基于模型预分层的AI计算任务调度 88
参考文献 90
第5章 时空大数据可视化 91
5.1 可视化概述 91
5.1.1 可视化方式 91
5.1.2 可视分析方法 92
5.1.3 可视化趋势 93
5.1.4 可视化目标 94
5.2 时空大数据可视化基础 94
5.2.1 流式地图与时空立方体 94
5.2.2 高维时空大数据可视化 95
5.2.3 时空大数据三维可视化 98
5.3 时空大数据可视化渲染 100
5.3.1 可视化渲染概述 100
5.3.2 智能化全尺度渲染 101
5.3.3 分布式渲染 102
5.3.4 集群协同渲染 103
5.3.5 关键技术 104
5.4 面向虚拟地球的时空大数据绘制 105
5.4.1 面向虚拟地球的模型数据绘制 105
5.4.2 面向虚拟地球的场数据绘制 107
5.5 时空大数据可视化分析框架 109
5.5.1 时空关系表示 109
5.5.2 多视图协同可视化框架 110
参考文献 111
第6章 天空地一体化时空大数据平台构建与应用 113
6.1 平台应用架构 113
6.1.1 网络架构 113
6.1.2 平台依赖关系 115
6.1.3 平台安全架构 116
6.2 数据协同保障 117
6.2.1 基于微服务的容器化部署 117
6.2.2 基于容器的服务编排 119
6.3 平台功能架构 124
6.4 数据融合 125
6.4.1 数据采集汇聚 125
6.4.2 空间处理 128
6.4.3 数据引擎 130
6.4.4 元数据管理 131
6.4.5 数据模型设计 133
6.4.6 数据质量管理 134
6.5 数据服务 143
6.5.1 原始数据服务 144
6.5.2 地图服务 144
6.5.3 检索分析服务 144
6.5.4 分析挖掘服务 144
6.6 可视化引擎 145
6.6.1 可视化图表 145
6.6.2 可视化要素 146
6.7 数据应用 146
6.7.1 动态数据获取 147
6.7.2 数据管理 147
6.7.3 分析量测 148
6.7.4 模拟推演 148
6.7.5 大数据挖掘 149
6.7.6 大数据管理 149
6.7.7 总体一张图 150
6.7.8 个性化界面 150
参考文献 150
第7章 应用案例 151
7.1 智慧城市应用 151
7.1.1 背景及需求 151
7.1.2 总体设计 152
7.1.3 系统功能 153
7.1.4 案例 160
7.2 时空大数据治理应用 161
7.2.1 背景及需求 161
7.2.2 总体设计 161
7.2.3 系统功能 164
7.2.4 案例 173
7.3 公共安全应用 174
7.3.1 背景及需求 174
7.3.2 总体设计 175
7.3.3 系统功能 179
7.3.4 案例 192
参考文献 193