本文仅供学习使用

1. 机器学习的定义

Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.
• 机器学习是一门从数据中研究算法的科学学科。
• 机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测;
• 备注：机器学习就是一个模拟人决策过程的一种程序结构。

1.1 机器学习/人工智能的理性认识

基本概念：
• 输入：（属性值，特征属性）
• 输出：（目标值）
• 目标函数（target function）:（理想公式）
• 输入数据：（历史记录信息）
• 最终具有最有性能的假设公式：（学习得到的最终公式）

目标函数f未知（无法得到）
假设函数g类似函数f，但是可能和函数f不同
机器学习中是无法找到一个完美的函数f

机器学习 从数据中获得一个假设的函数g，使其非常接近目标函数f的效果。

1.2 机器学习概念

A program can be said to learn from experience E with respect to some class of tasks T and performance measure P , If its performance at tasks in T, as measured by P, improves with experience E.
对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。——美国卡内基梅隆大学（Carnegie Mellon University）机器学习研究领域的著名教授Tom Mitchell对机器学习的经典定义

其中重要的机器学习对象：
任务Task T，一个或多个、经验Experience E、度量性能Performance P
即：随着任务的不断执行，经验的累积会带来计算机性能的提升。

1.3 机器学习、数据分析、数据挖掘区别与联系

• 数据分析： 数据分析是指用适当的统计分析方法对收集的大量数据进行分析， 并提取有用的信息，以及形成结论，从而对数据进行详细的研究和概括过程。 在实际工作中，数据分析可帮助人们做出判断；数据分析一般而言可以分为 统计分析、探索性数据分析和验证性数据分析三大类。
• 数据挖掘： 一般指从大量的数据中通过算法搜索隐藏于其中的信息的过程。 通常通过统计、检索、机器学习、模式匹配等诸多方法来实现这个过程。
• 机器学习： 是数据分析和数据挖掘的一种比较常用、比较好的手段。

1.4 机器学习、人工智能和深度学习的关系

深度学习是机器学习的子类；深度学习是基于传统的神经网络算法发展到多隐层的一种算法体现。 机器学习是人工智能的一个子类；

2. 机器学习分类

1. 有监督学习
   • 用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。是从标签化训练数据集中推断出模型的机器学习任务。
2. 无监督学习
   • 与监督学习相比，无监督学习的训练集中没有人为的标注的结果，在非监督的学习过程中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
3. 半监督学习
   • 考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题，是有监督学习和无监督学习的结合

2.1 有监督学习(分类类型的算法)

1. 判别式模型(Discriminative Model)： 直接对条件概率p(y|x)进行建模，常见判别模型有：Logistic回归、决策树、支持向量机SVM、k近邻、神经网络等；
2. 生成式模型(Generative Model)： 对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等；
   • 生成式模型更普适；判别式模型更直接，目标性更强
   • 生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面
   • 由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型

2.2 无监督学习

• 无监督学习试图学习或者提取数据背后的数据特征，或者从数据中抽取出重要的特征信息，常见的算法有聚类、降维、文本处理(特征抽取)等。
• 无监督学习一般是作为有监督学习的前期数据处理，功能是从原始数据中抽取出必要的标签信息。

2.3 半监督学习(SSL)

• 主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。 半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。
• SSL的成立依赖于模型假设，主要分为三大类：平滑假设、聚类假设、流行假设； 其中流行假设更具有普片性。
• SSL类型的算法主要分为四大类：半监督分类、半监督回归、半监督聚类、半监督降维。
• 缺点：抗干扰能力弱，仅适合于实验室环境，其现实意义还没有体现出来；未来的发展主要是聚焦于新模型假设的产生。

2.4 机器学习分类2

1. 分类
   通过分类模型，将样本数据集中的样本映射到某个给定的类别中(在模型构建之前，类别信息已经确定了。）
2. 聚类
   通过聚类模型，将样本数据集中的样本分为几个类别，属于同一类别的样本相似性比较大
3. 回归
   反映了样本数据集中样本的属性值的特性，通过函数表达样本映射的关系来发现属性值之间的依赖关系
4. 关联规则
   获取隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现频率。

3. 机器学习开发流程

• 数据收集
• 数据预处理
• 特征提取
• 模型构建
• 模型测试评估
• 投入使用(模型部署与整合)
• 迭代优化

3.1 数据收集与存储

1. 数据来源：
   • 用户访问行为数据
   • 业务数据
   • 外部第三方数据
2. 数据存储：
   • 需要存储的数据：原始数据、预处理后数据、模型结果
   • 存储设施：磁盘、mysql、HDFS、HBase、Solr、Elasticsearch、Kafka、Redis等
3. 数据收集方式：
   • Flume & Kafka

3.2 机器学习可用公开数据集

在实际工作中，我们可以使用业务数据进行机器学习开发，但是在学习过程中，没有业务数据，此时可以使用公开的数据集进行开发，常用数据集如下：
• http://archive.ics.uci.edu/ml/datasets.html
• https://aws.amazon.com/cn/public-datasets/
• https://www.kaggle.com/competitions
• http://www.kdnuggets.com/datasets/index.html
• http://www.sogou.com/labs/resource/list_pingce.php
• https://tianchi.aliyun.com/datalab/index.htm
• http://www.pkbigdata.com/common/cmptIndex.html

3.3 数据清洗和转换

• 实际生产环境中机器学习比较耗时的一部分
• 大部分的机器学习模型所处理的都是特征，特征通常是输入变量所对应的可用于模型的数值表示
• 大部分情况下 ，收集得到的数据需要经过预处理后才能够为算法所使用，预处理的操作主要包括以下几个部分：

• 数据过滤
• 处理数据缺失
• 处理可能的异常、错误或者异常值
• 合并多个数据源数据
• 数据汇总

• 对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式，对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵

• 将类别数据编码成为对应的数值表示(一般使用1-of-k\哑编码方法)
• 从文本数据中提取有用的数据(一般使用词袋法或者TF-IDF)
• 处理图像或者音频数据(像素、声波、音频、振幅等<傅里叶变换>)
• 对特征进行正则化、标准化，以保证同一模型的不同输入变量的取值范围相同
• 数值数据转换为类别数据以减少变量的值，比如年龄分段
• 对数值数据进行转换，比如对数转换
• 对现有变量进行组合或转换以生成新特征(基于对数据以及对业务的理解)，比如平均数 (做虚拟变量)，需要不断尝试才可以确定具体使用什么虚拟变量。

3.3.1 类型特征转换之1-of-k（哑编码）

功能： 将非数值型的特征值转换为数值型的数据
描述： 假设变量的取值有 k 个，如果对这些值用 1 到 k 编序，则可用维度为 k 的向量来表示一个变量的值。在这样的向量里，该取值所对应的序号所在的元素为1，其他元素均为0.

3.3.2 文本数据抽取

1. 词袋法：
   将文本当作一个无序的数据集合，文本特征可以采用文本中的词条/单词T进行体现，那么文本中出现的所有词条及其出现的次数/频率就可以体现文档的特征
2. TF-IDF:
   词条的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降；也就是说词条在当前文本中出现的次数越多，表示该词条对当前文本的重要性越高，词条在所有文本(语料库/训练数据集)中出现的次数越少，说明这个词条对文本的重要性越高。TF(词频) 指某个词条在文本中出现的次数，一般会将其进行归一化处理(该词条数量/该文档中所有词条数量)；IDF(逆向文件频率) 指一个词条重要性的度量，一般计算方式为语料库中总文件数目除以包含该词语的文件数目，再将得到的商取对数得到。TF-IDF实际上是：TF * IDF
   

3.4 模型训练及测试

• 模型选择：对特定任务最优建模方法的选择或者对特定模型最佳参数的选择。
• 在训练数据集上运行模型(算法)并在测试数据集中测试效果，迭代进行数据模型的修改，这种方式被称为交叉验证(将数据分为训练集和测试集，使用训练集构建模型，并使用测试集评估模型提供修改建议)
• 模型的选择会尽可能多的选择算法进行执行，并比较执行结果
• 模型的测试一般以下几个方面来进行比较，在分类算法中常见的指标分别是准确率/召回率/精准率/F值(F1指标)

• 准确率(Accuracy) = 提取出的正确样本数/总样本数
• 召回率(Recall) = 正确的正例样本数/样本中的正例样本数——覆盖率
• 精准率(Precision) = 正确的正例样本数/预测为正例的样本数
• F值 = Precision * Recall * 2 / (Precision+Recall) (即F值为正确率和召回率的调和平均值)