标签：distance right 矩阵 距离 马哈拉 Sigma 向量 left
马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示点与一个分布之间的距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是，它考虑到各种特性之间的联系，本文介绍马氏距离相关内容。
欧氏距离的缺点
距离度量在各个学科中有着广泛用途，当数据表示为向量 x → = ( x 1 , x 2 , ⋯ , x n ) T \overrightarrow{\mathbf{x} }=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T} x =(x1,x2,⋯,xn)T和 y → = ( y 1 , y 2 , ⋯ , y n ) T \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{n}\right)^{T} y =(y1,y2,⋯,yn)T时，最直观的距离度量就是欧式距离了：
{% raw %}
d
(
x
,
y
)
:
=
(
x
1
−
y
1
)
2
+
(
x
2
−
y
2
)
2
+
⋯
+
(
x
n
−
y
n
)
2
=
∑
i
=
1
n
(
x
i
−
y
i
)
2
d(x, y):=\sqrt{\left(x_{1}-y_{1}\right)^{2}+\left(x_{2}-y_{2}\right)^{2}+\cdots+\left(x_{n}-y_{n}\right)^{2}}=\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}
d(x,y):=(x1−y1)2+(x2−y2)2+⋯+(xn−yn)2
=i=1∑n(xi−yi)2
{% endraw %}
但是这种度量方式没有考虑到各个维度之间的差异和相关等因素，不同的向量度量距离时权重都相同，这可能会对结果可信度产生干扰。
马氏距离
度量样本距离某个分布的距离，先将样本与分布标准化到多维标准正态分布后度量欧式距离
思想
- 将变量按照主成分进行旋转，消除维度间的相关性
- 对向量和分布进行标准化，让各个维度同为标准正态分布
推导
- 分布由 n n n个 m m m维向量刻画，即共 n n n条数据，每条数据由一个 m m m维向量表示：
{% raw %}
KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*̲{20}{c}} {{x_{1…
{% endraw %}
- X X X的均值为 μ X {\mu _X} μX
- X X X的协方差矩阵为:
∑ X = 1 n ( X − μ X ) ( X − μ X ) T \sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T} ∑X=n1(X−μX)(X−μX)T
- 为消除维度间的相关性，通过一个 m × m m \times m m×m的矩阵 Q T Q^T QT对 X X X进行坐标表换，将数据映射到新的坐标系下，用 Y Y Y表示：
Y = Q T X Y=Q^TX Y=QTX
此时我们期望在 Q T Q^T QT的作用下， Y Y Y 的向量表示中，不同维度之间是相互独立的，此时 Y Y Y 的协方差矩阵应该是一个对角矩阵（除对角线元素外，其余元素均为0）。
- Y 的均值： u Y = Q T u X u_{Y}=Q^{T} u_{X} uY=QTuX
- Y 的协方差矩阵：
{% raw %}
Σ
Y
=
1
n
[
Y
−
u
Y
]
[
y
−
u
Y
]
T
=
1
n
[
Q
T
(
X
−
u
x
)
]
[
Q
T
(
X
−
u
X
)
]
T
=
Q
T
1
n
(
X
−
u
X
)
(
X
−
u
X
)
T
Q
=
Q
T
Σ
X
Q
\begin{aligned} \Sigma_{Y} &=\frac{1}{n}\left[Y-u_{Y}\right]\left[y-u_{Y}\right]^{T} \\ &=\frac{1}{n}\left[Q^{T}\left(X-u_{x}\right)\right]\left[Q^{T}\left(X-u_{X}\right)\right]^{T} \\ &=Q^{T} \frac{1}{n}\left(X-u_{X}\right)\left(X-u_{X}\right)^{T} Q \\ &=Q^{T} \Sigma_{X} Q \end{aligned}
ΣY=n1[Y−uY][y−uY]T=n1[QT(X−ux)][QT(X−uX)]T=QTn1(X−uX)(X−uX)TQ=QTΣXQ
{% endraw %}
-
从这里可以发现，当 $Q 是 是 是\Sigma_{X} 的 特 征 向 量 组 成 的 矩 阵 时 ， 的特征向量组成的矩阵时， 的特征向量组成的矩阵时，\Sigma_{Y}$ 一定是对角矩阵，且值为每个特征向量对应的特征值。由于 Σ X \Sigma_{X} ΣX是对称矩阵，因此肯定可以通过特征分解得到 Q Q Q ，且 Q Q Q 是正交矩阵。
-
Σ Y \Sigma_{Y} ΣY的对角线元素含义为 Y Y Y中每个向量的方差，因此均为非负值，从这个角度可以说明协方差矩阵的特征值为非负值。
-
而且事实上协方差矩阵本身就是半正定的，特征值均非负
-
不相关与独立的问题：
- 此处我们说明了变换后的向量之间相关系数为0，也就是向量之间不相关
- 而事实上独立是比不相关更强的约束，不相关往往不能推出独立
- 但在高斯分布下，不相关和独立是等价的
接下来我们对向量进行标准化
-
当我们减去均值后，向量已经变成了0均值的向量，距离标准化仅差将方差变为1
-
在经历了 Y = Q T X Y=Q^TX Y=QTX变换后， Y Y Y的协方差矩阵已经成为了对角阵，对角线元素为 Y Y Y中各个维度数据的方差，那么我们仅需让 Y Y Y中各个维度数据除以该维度数据的标准差即可。
-
我们将去相关化、0均值化、标准化过后的数据记为 Z Z Z：
{% raw %}
KaTeX parse error: Unknown column alignment: * at position 45: …{\begin{array}{*̲{20}{c}} {\frac…
{% endraw %} -
而马氏距离就是度量纠正过后的向量 Z Z Z到分布中心（原点）的欧式距离：
{% raw %}
$$
\begin{array}{l}
{D_M}(X) & =
\sqrt {{Z^T}Z} \&= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - 1}}{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}T}Q{Q{ - 1}}\Sigma _X^{ - 1}Q{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}^T}\Sigma _X^{-1}\left( {X - {u_X}} \right)} \
\end{array}
$$
{% endraw %}
参考资料
- https://baike.baidu.com/item/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB/8927833?fr=aladdin
- https://zhuanlan.zhihu.com/p/109100222
标签：distance,right,矩阵,距离,马哈拉,Sigma,向量,left 来源： https://blog.csdn.net/zywvvd/article/details/115261621
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。