精通特征工程

前言 　ix

第　1 章 机器学习流程　1

1.1　数据　1

1.2　任务　1

1.3　模型　2

1.4　特征　3

1.5　模型评价　3

第　2 章 简单而又奇妙的数值　4

2.1　标量、向量和空间　5

2.2　处理计数　7

2.2.1　二值化　7

2.2.2　区间量化（分箱）　9

2.3　对数变换　13

2.3.1　对数变换实战　16

2.3.2　指数变换：对数变换的推广　19

2.4　特征缩放/ 归一化　24

2.4.1　min-max 缩放　24

2.4.2　特征标准化/ 方差缩放　24

2.4.3　2

归一化　25

2.5　交互特征　28

2.6　特征选择　30

2.7　小结　31

2.8　参考文献　32

第3　章 文本数据：扁平化、过滤和分块　33

3.1　元素袋：将自然文本转换为扁平向量　34

3.1.1　词袋　34

3.1.2　n 元词袋　37

3.2　使用过滤获取清洁特征　39

3.2.1　停用词　39

3.2.2　基于频率的过滤　40

3.2.3　词干提取　42

3.3　意义的单位：从单词、n 元词到短语　43

3.3.1　解析与分词　43

3.3.2　通过搭配提取进行短语检测　44

3.4　小结　50

3.5　参考文献　51

第4　章 特征缩放的效果：从词袋到tf-idf　52

4.1　tf-idf：词袋的一种简单扩展　52

4.2　tf-idf 方法测试　54

4.2.1　创建分类数据集　55

4.2.2　使用tf-idf 变换来缩放词袋　56

4.2.3　使用逻辑回归进行分类　57

4.2.4　使用正则化对逻辑回归进行调优　58

4.3　深入研究：发生了什么　62

4.4　小结　64

4.5　参考文献　64

第5　章 分类变量：自动化时代的数据计数　65

5.1　分类变量的编码　66

5.1.1　one-hot 编码　66

5.1.2　虚拟编码　66

5.1.3　效果编码　69

5.1.4　各种分类变量编码的优缺点　70

5.2　处理大型分类变量　70

5.2.1　特征散列化　71

5.2.2　分箱计数　73

5.3　小结　79

5.4　参考文献　80

第6　章 数据降维：使用PCA 挤压数据　82

6.1　直观理解　82

6.2　数学推导　84

6.2.1　线性投影　84

6.2.2　方差和经验方差　85

6.2.3　主成分：第 一种表示形式　86

6.2.4　主成分：矩阵- 向量表示形式　86

6.2.5　主成分的通用解　86

6.2.6　特征转换　87

6.2.7　PCA 实现　87

6.3　PCA 实战　88

6.4　白化与ZCA　89

6.5　PCA 的局限性与注意事项　90

6.6　用例　91

6.7　小结　93

6.8　参考文献　93

第7　章 非线性特征化与k-均值模型堆叠　94

7.1　k-均值聚类　95

7.2　使用聚类进行曲面拼接　97

7.3　用于分类问题的k-均值特征化　100

7.4　优点、缺点以及陷阱　105

7.5　小结　107

7.6　参考文献　107

第8　章 自动特征生成：图像特征提取和深度学习　108

8.1　最简单的图像特征（以及它们因何失效）　109

8.2　人工特征提取：SIFT 和HOG　110

8.2.1　图像梯度　110

8.2.2　梯度方向直方图　113

8.2.3　SIFT 体系　116

8.3　通过深度神经网络学习图像特征　117

8.3.1　全连接层　117

8.3.2　卷积层　118

8.3.3　ReLU 变换　122

8.3.4　响应归一化层　123

8.3.5　池化层　124

8.3.6　AlexNet 的结构　124

8.4　小结　127

8.5　参考文献　128

第9　章 回到特征：建立学术论文推荐器　129

9.1　基于项目的协同过滤　129

9.2　第 一关：数据导入、清理和特征解析　130

9.3　第二关：更多特征工程和更智能的模型　136

9.4　第三关：更多特征= 更多信息　141

9.5　小结　144

9.6　参考文献　144

附录A　线性建模与线性代数基础　145

A.1　线性分类概述　145

A.2　矩阵的解析　147

A.2.1　从向量到子空间　148

A.2.2　奇异值分解（SVD）　150

A.2.3　数据矩阵的四个基本子空间　151

A.3　线性系统求解　153

A.4　参考文献　155

作者简介　156

封面简介　1562100433B

本书介绍大量特征工程技术，阐明特征工程的基本原则。主要内容包括：机器学习流程中

的基本概念，数值型数据的基础特征工程，自然文本的特征工程，词频- 逆文档频率，高效的分类变量编码技术，主成分分析，模型堆叠，图像处理，等等。

这套丛书针对不同层次的读者，分为5个子系列：从入门到精通、技术内幕、高级编程、精通和认证考试教材。各系列特色如下：

★ 从入门到精通

*适合新手程序员的实用教程

*侧重于基础技术和特征

*提供范例文件

★ 技术内幕

*权威、必备的参考大全

*包含丰富、实用的范例代码

*帮助读者熟练掌握微软技术

★ 高级编程

*侧重于高级特性、技术和解决问题

*包含丰富、适用性强的范例代码

*帮助读者精通微软技术

★精通

*着重剖析应用技巧，以帮助提高工作效率

*主题包括办公应用和开发工具

★ 认证考试教材

*提供完整的Ebook(英文版)

*提供实际场景、案例分析和故障诊断实验

*完全根据考试要求来阐述每一个知识点

这套丛书延续以前严谨的编校风格，一切以保证图书内容和技术质量为核心，付出了大量心血。相信整合后的这套丛书必然会帮助程序开发人员、网络开发人员以及具有一定编程基础的中、高级读者，快速、全面地掌握微软技术，为将来的技术生涯奠定扎实的基础，使之成为中国软件产业的栋梁！

《装饰工程施工:专业技能入门与精通》：从校园到职场

大型工程一般都构成一个非常复杂的大系统，这个系统不仅内部结构复杂，而且外部联系广泛，常具有如下特征：

1、工程系统是由多个相互制约和相互影响的子系统(子工程)有机结合的整体。要使系统效益全面发挥，必须全部完成各子工程和相应的配套工程，有时甚至还涉及到系统外一些工程。

2、工程建设可能产生的许多后果，影响深远重大，稍有疏忽，就会造成难以弥补的损失。但这些后果、影响往往又是可以预测和估价的。

3、由于工程规模庞大，一般来说工程结构复杂，建设周期长，投资额大，相对来说效益也比较大。但另一方面，工程对政治、社会和生态系统的影响也很大，这一方面与小型工程相比有质的变化，工程系统往往不只是一个自然的物理系统，而是一个物理系统和事理系统的综合体。

4、由于工程规模庞大、结构复杂、涉及面广、影响深远，所以，与小型工程相比，工程建设风险大，而且非常集中，这使决策的难度和压力大大增加。