【学习笔记】SIFT尺度不变特征 （配合UCF-CRCV课程视频）
SIFT尺度不变特征
D. Lowe. Distinctive image features from scale-invariant key points, IJCV 2004
-Lecture 05 - Scale-invariant Feature Transform (SIFT)
- https://www.youtube.com/watch?v=NPcMS49V5hg
本文是上面UCF-CRCV课程视频的学习笔记。
DOG(Difference of Gaussian)角点 / Harris point(角点) 通过z轴旋转 点位置与未旋转的点 位置重合
所以角点Harris Point具有旋转不变性
Invariance to image scale and rotation
SIFT cares Local features
Steps for Extracting Key Points
1 Scale space peak selection
Potential locations for finding features
2 Key point localization
Accurately locating the feature key points
3 Orientation Assignment
Assigning orientation to the key points
4 Key point descriptor(SIFT descriptor)
Describing the key point as a high dimensional vector
detector VS descriptor
Scales
sigma for Canny and LG edge detection?
用来做高斯平滑的sigma如何选择。mask 的 width
zero-crossing检测出来边缘点（角点），zero-cross就是二阶导数为0的点。
Scale space(尺度空间)（Witkin, IJCAI 1983）
每一个弧形弯度定点都是一个zero-crossing
小的点会被更大scale的点包围并且替代
总结：实施全光谱尺寸的扫表，然后画出具有包含关系的zero-crossing如上图。
理解尺寸空间曲线（拱形曲线，bottom开口，顶部闭合；建立区间树）。
介绍：
尺度空间的生成目的是模拟图像数据多尺度特征。高斯卷积核是实现尺度变化的唯一线性核。
对计算机视觉而言，无法预知某种尺度的物体结构是有意的，因此有必要将所有尺度的结构表示出来。
比如温度曲线的采集，不能是无限的，这里在一定温度范围进行量化采集，温度范围即是选择的尺度。
多尺度表示方法：空间金字塔
Laplacian-of-Gaussian(LoG)
通过 LoG平滑，得到多scale的图片空间。
如何确定该点是interest point(或者说是角点)：
取得当前尺度该点p 的9个neighbors和上下两种尺度的各9各neighbors，如果p的尺度是27各点中的最大值或者最小值点，那么p是Interest point。最后得到了(x, y, sigma)代表该点。
Approximation of LoG by Difference of Gaussians
(k*sigm) a Gasussian filter ~~~ LoG 是通过热传导方程推导的（Heat Equation）
typically, sigma = 1.6 k = sqrt(2);
Building a Scale Space
高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：
其中 G(x,y,σ) 是尺度可变高斯函数 ;（x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。
关于octave（八度）是为了实现高斯差分尺度空间，利用不同尺度的高斯差分核与图像卷积生成。每一个octave的输入都是上一层octave降采样的输出，这里因为采样的时候x , y都各减小一半，整个图像降采样之后就变为原来的1/4.
其实就是为了让每一个octave的变化差异更大，而进行认为的划分。
通过实验曲线表明
每一个octave 中有3个scale 最好。
sigma = 1.6
去掉一系列离群点的方法
Orientation Assignment
为了实现旋转不变性，计算key point（x, y）的中央导数，梯度级，L（smooth image）的方向
方向上将360度分为36个bin。统计每一个key point 的邻居的方向梯度。
梯度和边缘是更加稳定的feature 相比较于 raw intensity values
Descriptor是描述特征的重要工具
上图左（并不是全部neighbors，是全部neighbors的 1/2），image中有key point找到16*16 neighbors
16 * 16 / 4 * 4 (blocks) = 16 (histograms)
each 4 * 4 = 16 blocks using 1 histogram
16 (histograms) * 8(demensions) = 128 (demensions) -> vector -> Sift-descriptor
然后又是实验表明：
4 x 4 blocks && 8 bins 最好
Key Point matching
foreach (d1 in A_Descriptors)
foreach (d2 in B_Descriptors)
find_minimum_Euclidean_distance_beteween(d1, d2);
0.1 0.15... very close best match 0.1 / second match 0.15 = ratio = 80%
if ratio low, first match looks good
if high, could be ambiguous match
ratio 用来衡量第一近和第二近的两个点之间的相近程度，如果接近80% 那么干脆两个点都不选。因为有两个matching你不知道哪一个才是最好的！
Ratio 可以对correct matching num 产生影响
最后
pagerank 和 论文cities的统计思想类似。 考察论文被人引用的次数，类似统计网站被别的网站链接的次数。
H index = 5 means 你已经写了至少5篇papers，这些文章至少被引用了5次。
