目录

机器学习的定义

        1. ARTHUR SAMUEL对机器学习的定义 :

        Machine Learning is Fields of study that gives computers the abailty to learn without being explicitly programmed.

        即：机器学习是这样的领域，它赋予计算机学习的能力。（这种学习能力）不是通过显著式编程获得的。

那么什么是显著式编程？

        例如，我们编程序要让计算机自动地去区别菊花和玫瑰。如果我们提前告诉计算机：菊花是黄色的，玫瑰是红色的。那么计算机在识别的时候，看到黄色就判定为菊花，看到红色就判定为玫瑰。这就是显著式编程。

        再举一个复杂一点的情景，假设有一个机器人要去教室外面接咖啡。显著式编程做法：首先，电脑输出一系列指令，指挥机器人走出教室，走到咖啡机前，按下按钮，接上咖啡，然后原路返回。

对应的还有非显著式编程:

        如果输入大量菊花和玫瑰的图片进计算机，并通过相应的程序提取图片的特征，最终得出判断标准：菊花的花瓣很长，玫瑰的花瓣很圆。我们不对计算机总结的规律进行限制，我们把这种让计算机自己去总结规律的编程方法，称作非显著式编程。

        非显著式编程则可以允许机器人进行一系列行为，左转、右转、前进、后退。之后规定机器人在这种特定的环境下进行的动作所带来的收益，叫做收益函数。

        假如机器人自己摔倒了或者机器人撞到了墙，收益函数为负值。相反机器人成功接到了咖啡，则收益函数为正值。通过这种行为和收益函数，我们就可以让计算机自己去找能得到最大收益函数的行为。虽然刚开始，机器人的行为并不规则，会屡屡碰壁。但是，如果我们的程序足够好，计算机是可能找到一个最大收益的行为的。这样计算机就能通过数据和经验自动学习，完成交付的任务，这就是机器学习最关注的点。

        2. Tom Mitshell对机器学习的定义：

        A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T, as measured by P, improves with experience E.

        即：一个计算机程序被称为可以学习，是指它能够针对某个任务T和某个性能指标P，从经验E中学习，这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高。

机器学习的分类

        机器学习算法可以分为监督学习和强化学习。

监督学习：所有的经验E都是人工采集并输入计算机的。即输入计算机数据同时加上标签的机器学习。

强化学习：经验E是由计算机与环境互动获得的。计算机产生行为，同时获得这个行为产生的结果，我们的程序只需要定义这些行为的收益函数（Reward function），对行为进行奖励或者惩罚，同时，我们要设计算法，让计算机自动地通过改变自己的行为模式去最大化收益函数。

         这种划分是不绝对的，例如AlphaGo在最初的训练用到了网络上高手的对局进行监督学习，通过监督学习获得了一个不错的初始围棋程序，然后再对它进行强化学习，提升棋力。

         监督学习根据数据标签存在与否可以分为传统的监督学习、非监督学习和半监督学习。

传统的监督学习：每一个训练数据都有对应的标签。算法包括：支持向量机、人工神经网络、深度神经网络。

非监督学习：所有的训练数据都没有对应的标签。算法包括：聚类、EM算法、主成分分析。

半监督学习：训练数据中一部分有标签，一部分没有标签。

         值得注意的是半监督学习获得了越来越多的关注，这是因为网络中存在大量的数据，但是另一方面，标注数据确实成本巨大的工作，如何利用少量的标注数据和大量未标注数据一起训练一个更好的机器学习算法，成为了机器学习领域的热点之一。

机器学习算法的过程

        第一步、特征提取。特征提取是通过训练样本获得的，对机器学习任务有帮助的多维度数据。

        特征提取是很重要的，如果我们提取了好的特征，哪怕用差一点的机器学习算法，也能获得不错的性能，反之，如果我们提取的特征很差，无法反映出训练样本的内在规律，那么哪怕用再好的机器学习算法，也不可能获得更好的性能。

        重点是在假设已经提取好特征的前提下，如何构造算法获得更好的性能。

        第二步、选择合适的机器学习算法。

        如何针对不同应用场景选择合适的机器学习算法，甚至构造新的机器学习算法解决目前无法解决的应用场景，值得深入研究。

没有免费午餐定理

        定理内容：任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。

        我们不能片面夸大这个定理的作用，但是我们也需要时刻牢记这个定理的提醒。机器学习的本质，是通过有限的已知数据，在复杂的高维特征空间中预测未知的样本。