自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

1.9 Tensor Decompositions and N-Way Data Arrays

  • Kronecker product

假设自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)为m×n的矩阵,自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)为p×q的矩阵:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

则A与B的Kronecker product是一个大小为mp×nq的矩阵,即其为任意大小矩阵的运算,其表述为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

Kronecker product是张量积的特殊形式,具有下列一些性质:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

但是,该运算并不满足交换律,即:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

  • Khatri-Rao product

在数学中,Khatri-Rao product被定义为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

其中第ij个方块是一个自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)中的小方块的Kronecker product,大小为自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),当然这里假设自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)两个小方块的横向和纵向的数目相同。

举个例子,假设自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)分别为2×2的分块矩阵:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

值得注意的是,上述为Khartri-Rao的通常形式,其还有其他Column-wise Kronecker product和Face-splitting product两种形式。

  • Column-wise Kronecker product

两个矩阵的Column-wise Kronecker product也叫作Khatri-Rao product。这种内积假定了矩阵内的方块被取为矩阵的列。这种情况下,自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),对于每个 j:自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)。最终的内积是一个mp×n的矩阵,其中的每一列都是自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)各自相应列之间的Kronecker product。举个例子:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

则:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

Khatri-Rao product的这种column-wise的版本在数据分析处理的线性代数方法和优化处理对角矩阵的逆问题的解决方案中很有用。1996 年,提出了Column-wise Khatri-Rao product来估计多径信号的到达角 (AOA) 和延迟以及数字天线阵列上信号源的四个坐标。

  • Face-splitting product
    另一种按行分割矩阵的内积,被称为face-splitting product或者transposed Khatri-Rao product。定义如下:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

则:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

  • N-way tensor

N-way tensor 即Nth order tensor,即其维度为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

其第自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)个元素可以表示为自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

  • Frobenius norm(F-范数)

给定一个张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),则该张量的F-范数为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

即张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)的F-范数的平方等于其所有元素的平方和,正是这样,很多涉及到矩阵分解或张量分解的优化问题中常常会出现残差矩阵的平方和最小化或者残差张量的平方和最小化,目标函数也多以相应的残差矩阵或残差张量的F-范数的平方形式进行书写。

  • tensor unfolding(张量展开)

在实际应用中,由于高阶张量比向量、矩阵都抽象,最简单地,向量和矩阵可以很轻松地书写出来并进行运算,而高阶张量则不那么直观,如何将高阶张量转换成二维空间的矩阵呢?这就是张量的展开,有时,也将张量的展开称为张量的矩阵化(Matricization: transforming a tensor into a matrix)。文中的mode-n matricization或者unfolding of a tensor即是说得这件事情。

下面举例介绍一下:
给定大小为4×3×2的张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),其中,矩阵自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),矩阵自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),按照mode-1(即对应着张量的第一阶,沿着行方向)展开可以得到:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

即矩阵自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),其大小为4×6。

按照mode-2(即对应着张量的第二阶,沿列展开)展开可以得到:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

即矩阵自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),其大小为3×8。

按照mode-3(即对应着张量的第三阶,沿纵深展开)展开可以得到:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

即矩阵自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),其大小为2×12。

类似地,如果给定一个大小为2×2×2×2的第四阶张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),则在各个mode(模态)下的开展分别为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

举个例子,若自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),则:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

可惜的是,张量的展开虽然有一定的规则,但并没有很强的物理意义,对高阶张量进行展开会方便使用相应的矩阵化运算。除此之外,高阶张量可以展开自然也就可以还原(即将展开后的矩阵还原成高阶张量,这个过程成为folding)。

现在回看文中的自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)中的自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)指的是matricization,自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)指的是张量名字,n指的是mode的序号。

  • outer product(外积)

给定两个向量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),大小分别为m×1和n×1:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

则它们的外积被定义为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

可以简写为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

由上可以看出,向量的外积等于其相应矩阵的乘积,即:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

将向量的内积拓展到张量上:
给定两个张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),其维度分别为自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),它们的外积:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

  • inner product(内积)

给定两个向量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),大小分别为m×1和n×1,则其内积为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

给定两个张量自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),则其内积为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

由于两个大小相同的张量其内积是一个标量,所以也常把内积叫做标量积(scalar product)。

  • Trucker decomposition

就高阶奇异值分解而言,著名学者Tucker于1966年给出了计算Tucker分解的三种方法,第一种方法就是我们这里要提到的高阶奇异值分解,其整个分解过程也是由矩阵的奇异值分解泛化得到的。

CP decomposition(CANDECOMP/PARAFAC)表示parallel factors analysis(PARAFAC,平行因子分析)和canonical decomposition(CANDECOMP,规范分解)。

在文中,用自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)表示一个N阶张量(大小为自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9))。利用R-component CANDECOMP/PARAFAC(CP)factor model可以将其分解为:

自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

其中R可以根据实际情况设定,如文中取自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9),即每阶提取两个因子(component或者mode,即每个r所代表的和式为一个component),自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)代表外积,自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)代表factor matrix自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)的第r列,大小为自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton(Chapter 1.9)

相关资料:

Kronecker product

Khartri-Rao product

Matrix computations by Gene H.Golub

Tensor decompositions and Applications by Tamara G. Kolda

浅谈张量分解(二):张量分解的数学基础

Tucker decomposition

Higher-order singular value decomposition

Tensor rank decomposition

Multilinear algebra

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2022年5月16日
下一篇 2022年5月16日

相关推荐