内积：
I1 I2
IN
X,Y
L
x y i1i2L iN i1i2L iN
i1 1 i2 1 iN 1
（Frobenius）范数：
X
I1 I2
IN
X , X
L
x2 i1i2L iN
i1 1 i2 1 iN 1
8
秩一张量/可合张量
◦ N阶张量 X ¡ I1×I2×L ×IN 是一个秩一张量，如果它能被写
成N个向量的外积，即
X a(1) oa(2) oL oa(N )
c
b
X
a
三阶秩一张量：X a ob oc
9
（超）对称和（超）对角
◦ 立方张量：各个mode的长度相等 ◦ 对称：一个立方张量是对称的，如果其元素在下标的任意
排列下是常数。如一个三阶立方张量是超对称的，如果
xijk xikj x jik x jki xkij xkji ,i, j, k ◦ 对角：仅当 i1 i2 L iN x 时， i1i2L iN 0
15
矩阵的Khatri-Rao乘积
◦ A I×K , B J×K ，则
A e B a1 b1 a2 b2 L
aK bK ? IJ×K
◦ 性质：A e B e C A e B e C A e B e C
16
矩阵的Hadamard乘积
◦ A I×J , B I×J ，则
a11b11 a12b12 L A B a21b21 a22b22 L
三阶张量：X ¡ I×J×K
5
纤维（fiber）
mode-1 （列）
纤维：x: jk
mode-2 （行）
纤维：xi:k
mode-3 （管）
纤维：xij:
6
切片（slice）
水平切片：Xi::
侧面切片：X: j:
正面切片：X::k (Xk )
7
内积和范数
◦ 设 X ,Y ¡ I1×I2×L ×IN
张量的（超）对角线
10
展开（matricization/unfolding/flattening）
◦ 将N阶张量 X 沿mode-n展开成一个矩阵X(n) X(1)
三阶张量的mode-1展开
11
n-mode（矩阵）乘积
◦ 一个张量X ¡ I1×I2×L ×IN 和一个矩阵 U ¡ J×In 的n-mode
M M O
aI1bI
1
aI 2bI 2
L
a1J b1J
a2 J
b2 J
¡
I ×J
M
aIJ bIJ
◦ 性质：A e BT A e B ATABTB
A e B+ ATA BTB + A e BT
17
CP分解
18
CP分解的其他名字
◦ Polyadic Form of a Tensor, Hitchcock, 1927 ◦ PARAFAC(Parallel Factors), Harshman, 1970 ◦ CANDECOMP/CAND(Canonical decomposition),
R
X §λ; A, B,C¨ rar obr ocr
彭毅
1
基本概念及记号
2
张量（tensor）
◦ 多维数组
一阶张量 （向量）
二阶张量 （矩阵）
三阶张量
3
张量空间
◦ 由若干个向量空间中的基底的外积张成的空间
o
g
向量的外积和内积
4
阶（order/ways/modes/rank）
◦ 张成所属张量空间的向量空间的个数
一阶张量（向量）：x {xi} 二阶张量（矩阵）：X {xij } 三阶或更高阶张量：X {xijL k } 零阶张量（数量）：x
in 1
◦ 性质：
X m a n b X m a n1 b X n b m a, m n
13
矩阵的Kronecker乘积
◦ A I×J , B K×L ，则
a11B a12B L
A B a21B a22B L M M O
aI
1B
aI 2B
L
a1J B
a2
J
B
¡
IK ×JL
M
aIJ
B
◦ 性质：A BCD AC BD A B+ A+ B+
14
矩阵的Kronecker乘积
◦ 矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如 下关系
Y X 1 A(1) L N A(N )
Y(n) A(n)X(n) A(N ) L A(n1) A(n1) L A(1) T
21
CP分解的切片形式
◦ 三阶张量的CP分解有时按（正面）切片写成如下形式：
Xk AD(k )BT
其中 D(k ) diag(ck:)
ar
cr
br
X
A
BT
Xk
D(k )
三阶张量CP分解的正面切片形式
22
带权CP分解
◦ 为了计算方便，通常假设因子矩阵的列是单位长度的，从
而需要引入一个权重向量 λ ¡ R ，使CP分解变为
乘积
X U ¡ I1×L ×In1×J×In1×L ×IN，其元素定义为
n
In
X U x u n
i1L in1 jin1L iN
i1i2L iN jin
in 1
◦ 这个定义可以写成沿mode-n展开的形式
Y X n U Y(n) UX(n)
◦ 性质：X m A n B X n B m A, m n
Carroll & Chang, 1970 ◦ Topographic Components Model, Mö cks, 1988 ◦ CP(Cቤተ መጻሕፍቲ ባይዱNDECOMP/PARAFAC), Kiers, 2000
19
CP分解的张量形式
◦ 将一个张量表示成有限个秩一张量之和，比如一个三阶张 量可以分解为
X n An B X n BA
12
n-mode（向量）乘积
◦ 一个张量X ¡ I1×I2×L ×IN 和一个向量 v ¡ In 的n-mode
乘积
X v ¡ I1×L ×In1×In1×L ×IN ，其元素定义为
n
In
X v n
i1L in1in1L iN
x v i1i2L iN in
R
X §A, B,C¨ ar obr ocr r 1
c1 b1
c2 b2
cR bR
X
L
a1
a2
aR
三阶张量的CP分解
20
CP分解的矩阵形式
◦ 因子矩阵：秩一张量中对应的向量组成的矩阵，如
A a1 a2 L aR
◦ 利用因子矩阵，一个三阶张量的CP分解可以写成展开形式
X(1) A C e BT X(2) B C e AT X(3) CB e AT