1 ANN定义

神经网络是由许多简单的处理单元以某种方式相互连接形成的计算机系统。系统通过动态响应外部输入信息来处理信息。

2 神经网络介绍

神经网络通过将大量人工神经元连接成特定结构来处理外部信息，主要是通过调整神经元之间的权重对输入数据进行建模，最终具备解决实际需求的能力。

人工神经网络的两个主要功能是模式识别和数据拟合。神经网络良好的非线性性能可以很好地描述各种非线性曲面并带来良好的模式识别能力，其出色的优化计算过程可以很好地解决各种函数拟合问题。

3 神经元模型

神经网络中最基本的成分是神经元(neuron)模型，目前广泛使用的神经元模型是1943年心理学家McCulloch和数学家W.Pitts首先提出的M-P神经元模型。如图，每个神经元都是一个多输入单输出的信息处理单元，输入信号通过带权重的连接传递，和阈值对比后得到总输入值，再通过激活函数(activation function)的处理产生单个输出。

4 神经元模型数学表达式

用数学表达式对神经元模型进行抽象和概括：我们令 ，即：x0 = −1,ω0j = θj ，
−θj = x0ω0j
，也就是说我们将阈值认为是一个下标为0的输入神经元处理，得到如下神
元模型的输出公式（输入）：

在：

5 向量表示

为方便起见，模型可以表示为权重向量与输入向量的点积，即：
oj = f(netj) = f(X TWj)

6 激活函数-阈值函数

神经元的输出是将输入的加权和应用于激活函数的结果。
神经元的激活函数f(x)使得神经元具有不同的信息处理特性，反映了神经元输出与其激活
国家之间的关系。我们这里涉及的激活函数有：阈值函数（也称为阶跃函数）

阈值函数在神经元模型中是一种常见且简单的函数，但由于阈值函数具有不连续性、平滑性等。
太好的性质，因此实际应用中常用sigmoid函数作为激活函数

7 人工神经网络模型

神经元模型按照一定的层次结构连接起来，得到一个神经网络。神经网络是生物神经网络
网络的抽象简化可以按照不同的方法进行分类：根据网络结构的不同，即信息传递的方向不同。
同时又可分为前馈网络和反馈网络。

8 学习方式

根据学习方法的不同，神经网络可以分为监督学习和无监督学习：

监督学习为神经网络的输出提供了一个预期的结果，即每个输出信号对应于
一个监督信号，通过比较两个结果的误差，直到误差达到期望值，在循环中调整权重
就精度而言，输出值无限接近期望值。

无监督学习通过不断提供输入信息来发现信息流中任何可能的模式或规则
法律。该网络的自组织过程最终将使网络能够自动对属于同一类的模式进行分类。

监督学习规则