智慧城市中的大数据分析技术

第1章 智慧城市概述 1

1.1　智慧城市是城市发展的必然阶段 2

1.2　众说纷纭的智慧城市 2

1.3　智慧城市的定义与内涵 5

1.4　智慧城市建设的关键要素 6

1.4.1　国外智慧城市建设的关键要素分析 7

1.4.2　国内智慧城市建设的关键要素分析 7

1.5　智慧城市的数据管理 11

1.6　小结 13

参考文献 13

第2章 智慧城市与大数据 15

2.1　什么是大数据 15

2.2　智慧城市与大数据的关系 15

2.3　大数据分析技术在智慧城市中的应用 17

2.4　纽约的电子治理与应用科技发展计划 19

2.4.1　纽约的电子治理 19

2.4.2　雄心勃勃的应用科学发展计划 20

2.4.3　纽约大学都市科学与进步中心 21

2.4.4　微软曼哈顿实验室 22

2.5　伦敦的城市公共数据能力开放平台 23

2.5.1　伦敦大数据法案与大数据峰会 23

2.5.2　智能交通和罪案控制 24

2.6　新加坡的“智慧国2015”计划 25

2.6.1　新加坡电子政府2015纲要 26

2.6.2　城市可持续性发展方案 28

2.6.3　信息通信产业培育计划 29

2.7　“智慧首尔2015”计划 30

2.7.1　U-City计划 31

2.7.2　“利用大数据解决市民小烦恼”城市口号的提出 31

2.7.3　城市数据开放与利用 32

2.7.4　建立在NFC基础上的城市移动支付系统 33

2.8　小结 33

参考文献 34

第3章 智慧城市的大数据体系架构 35

3.1　智慧城市体系架构的演进 35

3.1.1　以功能为中心的体系架构 35

3.1.2　以数据为中心的体系架构 37

3.2　智慧城市的大数据体系架构 41

3.3　物联感知层：大数据的来源 45

3.3.1　物联感知层的标准体系架构 46

3.3.2　物联感知层的关键技术 53

3.4　网络通信层：大数据的动态性 57

3.4.1　网络通信层的标准体系架构 59

3.4.2　网络通信层的关键技术 64

3.5　数据及服务支撑层：大数据的存储与分析 67

3.5.1　数据和服务支撑层的标准体系架构 68

3.5.2　数据和服务支撑层的关键技术 78

3.6　智慧应用层：大数据的价值发掘 88

3.6.1　智慧管理与服务 89

3.6.2　智慧产业与经济 100

3.6.3　智慧建设与宜居 102

3.7　小结 108

参考文献 108

第4章 智慧城市的数据特点 110

4.1　引言 110

4.2　智慧城市的数据来源 111

4.2.1　机器产生的数据 111

4.2.2　用户产生的数据 113

4.3　智慧城市的数据分布 115

4.3.1　市政数据 115

4.3.2　企业数据 118

4.3.3　开放数据 119

4.4　智慧城市的大数据特征 121

4.4.1　大数据的基本特征 121

4.4.2　数据开放与信息孤岛 124

4.5　开放数据面临的问题 127

4.5.1　政府引导数据开放 127

4.5.2　数据安全与隐私保护 130

4.6　小结 133

参考文献 134

第5章 大数据的分布式存储与处理 136

5.1　大数据分析平台 136

5.1.1　大数据分析平台面临的挑战 137

5.1.2　大数据分析平台的体系架构 138

5.1.3　大数据分析平台的关键技术 141

5.2　分布式存储与处理框架：Hadoop 146

5.2.1　Hadoop的介绍 146

5.2.2　Hadoop的组成 148

5.2.3　Hadoop的架构 150

5.2.4　Hadoop与分布式开发 152

5.2.5　Hadoop的关键技术 154

5.3　开放的机器学习算法平台：Mahout 163

5.3.1　Mahout简介 163

5.3.2　Mahout的主题 164

5.3.3　Mahout的算法 166

5.3.4　Mahout的使用 167

5.4　利用Mahout和Hadoop处理大数据 168

5.5　大数据技术的发展现状 170

5.6　小结 173

参考文献 173

第6章 智慧城市的大数据分析技术 175

6.1　引言 175

6.2　传统数据分析技术与工具 176

6.3　大数据分析技术的特点 177

6.3.1　数据采集 179

6.3.2　数据导入和预处理 180

6.3.3　数据统计与分析 180

6.3.4　数据挖掘 180

6.3.5　数据可视化 181

6.4　大数据分析与云计算技术 181

6.5　大数据分析面临的主要挑战 183

6.5.1　大数据集成与分析问题 183

6.5.2　大数据的隐私保护问题 184

6.5.3　大数据分析的思维方式转变问题 185

6.5.4　大数据时代分析结果测度标准问题 185

6.6　大数据分析相关关键技术 186

6.6.1　分布式文件系统 186

6.6.2　分布式数据库管理系统 187

6.6.3　索引和查询技术 190

6.6.4　二次挖掘技术 192

6.6.5　数据可视化技术 193

6.6.6　大数据分析平台 193

6.7　常见大数据分析算法 195

6.7.1　MapReduce编程模型 195

6.7.2　分类和预测问题 197

6.7.3　朴素贝叶斯 198

6.7.4　支持向量机 202

6.7.5　逻辑斯蒂回归 206

6.7.6　随机森林 208

6.7.7　分类和预测问题小结 209

6.7.8　聚类分析 210

6.7.9　K-均值聚类算法 214

6.7.10　聚类分析小结 216

6.7.11　大数据中距离和相似性度量方法 217

6.8　小结 219

参考文献 220

第7章 城市管理中的大数据分析 221

7.1　智慧政务 222

7.2　智慧医疗 225

7.3　智慧社区 227

7.4　智慧交通 229

7.5　智慧安全 232

7.6　智慧产业升级 234

7.7　智慧体育 238

7.8　小结 240

参考文献 240

第8章 大数据与商业智能 242

8.1　机遇：大数据带来商业创新 242

8.1.1　什么是商业智能 243

8.1.2　大数据促进商业智能升级 247

8.2　难点：分析处理非结构化数据 249

8.2.1　非结构化数据模型 250

8.2.2　分布式存储与并行处理架构 252

8.2.3　非结构化数据查询语言 253

8.3　大数据时代商业智能的六大核心要素 253

8.3.1　企业信息管理 255

8.3.2　数据仓库 255

8.3.3　企业治理 259

8.3.4　公司治理、风险和合规管理 262

8.3.5　企业绩效管理 265

8.3.6　分析应用 268

8.4　发掘大数据中蕴含的价值与商机 271

8.4.1　大数据研究的商业价值 271

8.4.2　大数据研究的科学价值 274

8.5　小结 277

参考文献 277

名词索引 280 2100433B

《智慧城市中的大数据分析技术》以智慧城市和大数据技术之间的本质联系为出发点，通过生动的案例从不同的视角去介绍智慧城市的内涵和大数据的核心技术。为了能让广大读者了解智慧城市和大数据技术的核心内容，认清这两大热点领域之间的本质联系，本书第1章和第2章首先介绍了智慧城市和大数据的基本概念及其相互之间的内在联系，通过生动的案例，帮助读者建立起大数据分析技术在智慧城市中的具体应用的直观印象，有助于激发读者的思考和创造力。第3章～第5章重点介绍了智慧城市运营过程中的数据生产特征，通过对智慧城市的数据形式和潜在利用价值进行归纳分析，得出了智慧城市的大数据体系，并提出了建立智慧城市大数据分析平台的指导性建议。最后3章介绍了大数据分析技术的内涵与外延，对大数据分析技术的最新发展动态进行了归纳整理。

本书可作为希望了解大数据技术和智慧城市的政府工作人员、高校和科研院所相关专业研究人员、在校大学生和研究生的入门书，也可用作高等院校计算机相关专业选修课参考教材和专业培训教材。

《测绘技术在智慧城市建设中的应用》是“连云港市测绘地理信息学会第二十三届学术交流会”优秀论文选编。

《测绘技术在智慧城市建设中的应用》共分七篇，内容涉及全球定位系统、地理信息系统、摄影测量与遥感、不动产登记与测量、工程测量技术、土地资源管理以及研究生论坛等，反映了测绘地理信息技术在智慧城市建设中的前沿应用。

《测绘技术在智慧城市建设中的应用》内容广泛、丰富、翔实、实用，既有在科研活动中提升的理论研究成果，也有来自测绘地理信息工程一线的经验总结，具有一定的学术水平和较高的应用参考价值，适合测绘地理信息技术人员和测绘地理信息类院校师生阅读参考。

随着物联网这项新兴信息技术的发展，城市建设的内涵已经从“数字城市”转为“智慧城市”。本书以智慧城市和物联网技术之间的本质联系为出发点，通过生动的案例从不同的视角介绍智慧城市的内涵和物联网核心技术。为了能让广大读者了解智慧城市和物联网技术的核心内容，认清这两大热点领域之间的本质联系，本书将会对智慧城市和物联网技术进行概述性描述，通过介绍智慧城市的一些基本知识，帮助读者了解相关背景知识。

本书可作为希望了解物联网技术和智慧城市的政府工作人员、高校和科研院所相关专业研究人员、在校大学生和研究生的入门书籍，同时也可用作为高等院校计算机相关专业选修课参考教材和专业培训教材。

丁熠，男，电子科技大学信息与软件工程学院的副教授，博士毕业于爱尔兰都柏林理工学院，主要研究方向为信息管理、医学图像处理、虚拟现实等。主持国家自然科学基金项目2项，发表学术论文10余篇。并参与到了智慧城市的申报、规划和顶层设计当中，从事智慧城市的咨询服务工作。