神秘值分解（Singular Value Decomposition） - yjbjingcha - 博客园

神秘值分解（Singular Value Decomposition）

- 线性变化的几何表现

首先看下简单的矩阵，这是一个对角矩阵
$M = (3001)$
我们先用这个对角矩阵乘以一个点来看看它的几何变化。
$(3001) * (x y) = (3 x y)$
在几何上就相当于把原来的向量x轴方向拉伸成了原来的3倍
–》
再来看下对称矩阵

$M = (2112)$
利用对称矩阵乘以一个点来看看它的几何变化

-》
这并不能清晰的显示出发生了如何的几何变换。我们能够把整个坐标轴逆时针旋转45度来更好的发现规律。
-》
从上图能够看出原来的红色部分。沿着一个方向被拉伸了3倍。

- 神秘值分解

这是神秘值分解的几何实质：对于随意的二维方阵（M）,我们都能够找到相互正交的向量（v1,v2），使得经过M变换后得到的两个向量(Mv1,Mv2)还是正交的。
这里写图片描写叙述 -》

v 1 和 v 2 是 正 交 的 单 位 向 量 u 1 和 u 2 是 在 M v 1 和 M v 2 方 向 上 的 单 位 向 量 σ 1 和 σ 2 表 示 v 1 和 v 2 经 过 M 变 换 后 的 拉 伸 倍 数 M v 1 = σ 1 u 1 M v 2 = σ 2 u 2

对于随意的二维向量x

x = (v 1 . x) v 1 + (v 2 . x) v 2 M x = (v 1 . x) M v 1 + (v 2 . x) M v 2 M x = (v 1 . x) σ 1 u 1 + (v 2 . x) σ 2 u 2 由 于 v . x = v T x M x = u 1 σ 1 v T 1 x + u 2 σ 2 v T 2 x M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 M = U Σ V T U = (u 1 u 2) Σ = (σ 1 0 0 σ 2) V = (v 1 v 2)

-那么我们怎么发现神秘值呢

我们能够对不论什么矩阵进行神秘值分解，首先我们先看下最先的样例，我们在原来的红色正方形上加上一个单位圆
这里写图片描写叙述 -》
变化后的图形是个椭圆。我们我们能够在椭圆的最长和最短的方向上发现正交基
-》

我 们 可 以 发 现 v i 和 v j 是 M T M 的 特 征 向 量 ， 因 为 M T M 是 一 个 对 称 矩 阵 那 么 不 同 特 征 值 所 对 应 的 特 征 向 量 都 是 正 交 的 所 以 v T i v j = 0, 奇 异 值 σ i = | M v i | u i 是 M v i 方 向 上 的 单 位 向 量 ， 问 题 是 为 什 么 u i 和 u j 是 正 交 的 呢 ？ 我 们 假 设 σ i 和 σ j 是 不 同 的 奇 异 值 M v i = σ i u i M v j = σ j u j . (M v i) T M v j = v T i M T M v j = v T i λ v j = λ v T i v j = 0. (M v i) T M v j = (σ i u i) T σ j u j = 0 u T i u j = 0 u i 和 u j 正 交 所 以 我 们 发 现 了 一 系 列 的 正 交 的 v i 经 过 M 变 换 后 成 为 u i 。 u i u j 还 是 正 交 的

- 另外一个样例

M = (1212)

利用M对v1 v2进行变换
这里写图片描写叙述

这里写图片描写叙述

-》

这里写图片描写叙述

在这个样例中第二个神秘值为0,

M = u 1 σ 1 v T 1

M的秩是等于非0的神秘值的数目的。

- 数据压缩

神秘值分解能够有效地应用在数据表示中，如果我们来表示一个25*15的黑白像素
这里写图片描写叙述
由于在整个图像中仅仅有3种列向量。所以我们能够来表示图像更加地高效

我们用一个25*15的矩阵来表示这个图像，1表示白色，0表示黑色

我们对M进行神秘值分解。仅仅发现了3个非0的神秘值

σ 1 = 14.72 σ 2 = 5.22 σ 3 = 3.31 M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 + u 3 σ 3 v T 3 u i 是 一 个 25 维 的 向 量 v i 是 15 维 的 向 量 我 们 用 了 非常 少 的 数 据 量 就 把 刚 刚 的 M 矩 阵 表 示 了

-噪音处理

如果我们利用了一个扫描器来扫描图像。可是在扫描的过程中引入了噪声
这里写图片描写叙述
我们对这个25*15的矩阵进行神秘值分解

σ 1 = 14.15 σ 2 = 4.67 σ 3 = 3.00 σ 4 = 0.21 σ 5 = 0.19 . . . σ 15 = 0.05 M 近 似 表 示 为 M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 + u 3 σ 3 v T 3

有噪声的图像

没有噪声的图像

posted on 2018-01-12 17:52 yjbjingcha 阅读(462) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

导航