Hessian 矩阵（海森矩阵）是一个包含二阶偏导数信息的方阵，在数学和优化中起着重要作用。对于一个多元函数，其 Hessian 矩阵是由其各个变量的二阶偏导数组成的矩阵。
假设有一个函数，其 Hessian 矩阵 (H) 的元素是：
其中 和
是变量的索引，表示函数对变量
和
进行求导两次得到的结果。
Hessian 矩阵提供了函数局部极值的信息。在优化问题中，通过分析 Hessian 矩阵的特征值和特征向量，可以判断局部极值点的性质。比如：
- 当 Hessian 矩阵在某点是正定（所有特征值均为正），这个点是局部最小值点。
- 当 Hessian 矩阵在某点是负定（所有特征值均为负），这个点是局部最大值点。
- 当 Hessian 矩阵在某点的特征值有正有负，这个点是鞍点（saddle point）。
Hessian 矩阵在优化算法中的应用非常广泛，特别是对于牛顿法等利用二阶导数信息的算法。
考虑一个简单的二元函数：
这个函数的 Hessian 矩阵是：
这个矩阵中的元素 表示函数对
和
的二阶偏导数。在这个例子中，
、
，其余元素为零。
观察 Hessian 矩阵的特征值：
其中 是单位矩阵，
是特征值。解这个方程可以得到 Hessian 矩阵的特征值。
对于这个例子，特征值为和
，都是正值，说明这个函数在原点附近是一个局部最小值点。这与我们对函数形式的了解是一致的，因为
是一个沿着 x 方向开口朝上的二次型，所以原点是一个局部最小值点。
版权声明：本文为博主作者：Chen_Chance原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/qq_44154915/article/details/134479134
