2
常见度量
1.欧式距离
2 ( x y ) i i i 1 n
d 2 ( x, y )
以向量表示：
d 2 ( x, y ) ( x y )T ( x y )
பைடு நூலகம்
2.余弦距离
cos
x y x 2 y
2
3
马氏距离（Mahalanobis Distance）
d M ( x) ( x )T 1 ( x )
对于变量x和y之间的马氏距离：
d M ( x, y ) ( x y )T M( x y )
M是半正定矩阵
d M ( x, y ) ( x y )T 1 ( x y )
当协方差矩阵为单位矩阵时，马氏距离就简化为欧氏距离
4
度量学习
d M ( x, y ) ( x y )T M( x y )
转换后
示例2 1
6
Probablistic Global Distance Metric Learning
PGDM：《Distance metric learning, with application to clustering with side-information》 监督距离度量学习
问题定义为：
min ( x , x
M
i
j )S
xi x j
2 M
2 M
s.t. ( x , x
i
j )D
xi x j
c
带条件的凸优化问题
求解的是全局距离度量
M 半正定
7
PGDM
等价问题：
g ( M ) max ( x , x
M
i i
j
)D
xi x j xi x j
2 M 2 M
s.t.(1)C1 : f ( M ) ( x , x
j
)S
c
(2)C2 : M 半正定
缺点： 时间复杂度高
8
PGDM
Frobenius范数
C1 : f (M ) ( x , x )S xi x j
i j
2 M
c
M
F


i
2 M ij j
解决：带线性条件的二次方程式优化问题
C2 : M 半正定
解决：先对M进行对角化， M X T X

得到 '
M ' XT' X
9
谢谢！
10
Distance Metric Learning
学院：网研院 姓名：陈刚 学号：2015010285
1
度量
定义在集合的元素之间的距离的函数，称为距离函数,简称“距离”
基于对象之间的相似度的应用： 聚类分析(k-means) 多维缩放(multidimensional scaling) 局部敏感哈希(Locality-Sensitive Hashing) 需要样本间的相似性度量，即距离度量
d 2 ( x, y) f ( y) f ( x) ( y x)T f ( x) ( y x)T 2 f ( x)( y x)
f ( x) d ( x, x)2 0
d 2 ( x, y) ( y x)T 2 f ( x)( y x)
5
举例说明
原始数据