机器学习实践应用

李博，目前任阿里云数据产品经理，主要负责机器学习平台的产品化建设以及对外业务应用。本科、硕士毕业于北京邮电大学，曾就职于索尼和华为（实习），从事数据相关产品的开发。作为CSDN博客专家、云栖社区博客专家，长期分享IT技术相关文章，内容涉及机器学习算法、Android应用及源码开发等领域。一直活跃于开发者社区，主导开发了多个GitHub百星开源项目，还开发并上线了多款手机App。

第1部分 背景知识

第1章 机器学习概述 3

1.1 背景 3

1.2 发展现状 6

1.2.1 数据现状 6

1.2.2 机器学习算法现状 8

1.3 机器学习基本概念 12

1.3.1 机器学习流程 12

1.3.2 数据源结构 14

1.3.3 算法分类 16

1.3.4 过拟合问题 18

1.3.5 结果评估 20

1.4 本章小结 22

第2部分 算法流程

第2章 场景解析 25

2.1 数据探查 25

2.2 场景抽象 27

2.3 算法选择 29

2.4 本章小结 31

第3章 数据预处理 32

3.1 采样 32

3.1.1 随机采样 32

3.1.2 系统采样 34

3.1.3 分层采样 35

3.2 归一化 36

3.3 去除噪声 39

3.4 数据过滤 42

3.5 本章小结 43

第4章 特征工程 44

4.1 特征抽象 44

4.2 特征重要性评估 49

4.3 特征衍生 53

4.4 特征降维 57

4.4.1 特征降维的基本概念 57

4.4.2 主成分分析 59

4.5 本章小结 62

第5章 机器学习算法——常规算法 63

5.1 分类算法 63

5.1.1 K近邻 63

5.1.2 朴素贝叶斯 68

5.1.3 逻辑回归 74

5.1.4 支持向量机 81

5.1.5 随机森林 87

5.2 聚类算法 94

5.2.1 K-means 97

5.2.2 DBSCAN 103

5.3 回归算法 109

5.4 文本分析算法 112

5.4.1 分词算法——Hmm 112

5.4.2 TF-IDF 118

5.4.3 LDA 122

5.5 推荐类算法 127

5.6 关系图算法 133

5.6.1 标签传播 134

5.6.2 Dijkstra最短路径 138

5.7 本章小结 145

第6章 机器学习算法——深度学习 146

6.1 深度学习概述 146

6.1.1 深度学习的发展 147

6.1.2 深度学习算法与传统

算法的比较 148

6.2 深度学习的常见结构 152

6.2.1 深度神经网络 152

6.2.2 卷积神经网络 153

6.2.3 循环神经网络 156

6.3 本章小结 157

第3部分 工具介绍

第7章 常见机器学习工具介绍 161

7.1 概述 161

7.2 单机版机器学习工具 163

7.2.1 SPSS 163

7.2.2 R语言 167

7.2.3 工具对比 172

7.3 开源分布式机器学习工具 172

7.3.1 Spark MLib 172

7.3.2 TensorFlow 179

7.4 企业级云机器学习工具 190

7.4.1 亚马逊AWS ML 191

7.4.2 阿里云机器学习PAI 196

7.5 本章小结 205

第4部分 实战应用

第8章 业务解决方案 209

8.1 心脏病预测 209

8.1.1 场景解析 209

8.1.2 实验搭建 211

8.1.3 小结 216

8.2 商品推荐系统 216

8.2.1 场景解析 217

8.2.2 实验搭建 218

8.2.3 小结 220

8.3 金融风控案例 220

8.3.1 场景解析 221

8.3.2 实验搭建 222

8.3.3 小结 225

8.4 新闻文本分析 225

8.4.1 场景解析 225

8.4.2 实验搭建 226

8.4.3 小结 230

8.5 农业贷款发放预测 230

8.5.1 场景解析 230

8.5.2 实验搭建 232

8.5.3 小结 236

8.6 雾霾天气成因分析 236

8.6.1 场景解析 237

8.6.2 实验搭建 238

8.6.3 小结 243

8.7 图片识别 243

8.7.1 场景解析 243

8.7.2 实验搭建 245

8.7.3 小结 253

8.8 本章小结 253

第5部分 知识图谱

第9章 知识图谱 257

9.1 未来数据采集 257

9.2 知识图谱的概述 259

9.3 知识图谱开源

工具 261

9.4 本章小结 264

参考文献 265

编辑推荐

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度等多门学科，专门研究计算机怎样模拟或实现人类的学习行为。机器学习是人工智能的核心，是使计算机具有智能的根本途径。本书通过对机器学习的背景知识、算法流程、相关工具、实践案例以及知识图谱等内容的讲解，全面介绍了机器学习的理论基础和实践应用。书中涉及机器学习领域的多个典型算法，并详细给出了机器学习的算法流程。本书适合任何有一定数据功底和编程基础的读者阅读。通过阅读本书，读者不仅可以了解机器学习的理论基础，也可以参照一些典型的应用案例拓展自己的专业技能。同时，本书也适合计算机相关专业的学生以及对人工智能和机器学习感兴趣的读者阅读。

超声波机器因其强大的功能在很多领域有其广泛的应用：超声波清洗机，超声波医学检查（如B超机），超声波塑料焊接机，超声波熔接机，超声波测距.，超声波汽车焊接机，超声波真空包装机

现今，对人类来说，太脏太累、太危险、太精细、太粗重或太反复无聊的工作，常常由机器人代劳。从事制造业的工厂里的生产线就应用了很多工业机器人，其他应用领域还包括：射出成型业、建筑业、石油钻探、矿石开采、太空探索、水下探索、毒害物质清理、搜救、医学、军事领域等。

OTC机器人指由操作机（机械本体）、控制器、伺服驱动系统和传感装置构成的一种仿人操作、自动控制、可重复编程、能在三维空间完成各种作业的光机电一体化生产设备，特别适合于多品种、变批量的弹性制造系统。

一个工业机器人可以仅包括一个感觉与动作之间的连结，而且这个连结不是由人手动操控的。机器人的动作也许是电动机或是驱动器（也称效应器）移动一只手臂，张开或关闭一个夹子的动作。此种直接而详尽的控制跟回馈也许是由在外部或是嵌入式的电子计算机或是微控制器上运行的程式提供。根据这个定义，所有的自动装置都算机器人。

OTC机器人可直接接受人类指令，也可以执行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。

OTC机器人发展现状方面， 2007年全球共新安装工业机器人114,365 台，较2006年新安装的111,052 台，上升了3%。截至2007 年底，全球工业机器人保有量已达到了995,000台。2007年，亚洲及美洲工业机器人的装配量明显上升，汽车工业以及电子电器行业的发展是上述地区工业机器人装配量强劲增长的主要因素。此外，化工领域用工业机器人的需求量也迅速上升。

OTC焊接机器人是工业机器人的最常见类型，常用于汽车制造机械流水线的规模化制造中，汽车车身和其他采用焊接工艺的部件的焊接。