BoF图像检索

目录

一、图像检索基本概述

二、基于Bag of words模型的图像检索

  1.Bag-of-words models模型

  2.应用

三 、Bag of features算法

四、实验与结果

  1.图像的sift特征提取及创建词汇

  2.建立数据库+创建图像索引

  3.在数据库中搜索图像

   4.测试

五、总结 

六、遇到的问题和解决方法

 

一、图像检索基本概述

从20世纪70年代开始,有关图像检索的研究就已开始,当时主要是基于文本的图像检索技术(简称TBIR),利用文本描述的方式描述图像的特征,如绘画作品的作者、年代、流派、尺寸等。

到90年代以后,出现了对图像的内容语义,如图像的颜色、纹理、布局等进行分析和检索的图像检索技术,即基于内容的图像检索(简称CBIR)技术。CBIR属于基于内容检索(简称CBR)的一种,CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。

在检索原理上,无论是基于文本的图像检索还是基于内容的图像检索,主要包括三方面:一方面对用户需求的分析和转化,形成可以检索索引数据库的提问;另一方面,收集和加工图像资源,提取特征,分析并进行标引,建立图像的索引数据库;最后一方面是根据相似度算法,计算用户提问与索引数据库中记录的相似度大小,提取出满足阈值的记录作为结果,按照相似度降序的方式输出。

为了进一步提高检索的准确性,许多系统结合相关反馈技术来收集用户对检索结果的反馈信息,这在CBIR中显得更为突出,因为CBIR实现的是逐步求精的图像检索过程,在同一次检索过程中需要不断地与用户进行交互。

二、基于Bag of words模型的图像检索

1.Bag-of-words models模型
Bag-of-words词袋模型最初被用在信息检索领域,对于一篇文档来说,假定不考虑文档内的词的顺序关系和语法,只考虑该文档是否出现过这个单词。假设有5类主题,我们的任务是来了一篇文档,判断它属于哪个主题。在训练集中,我们有若干篇文档,它们的主题类型是已知的。我们从中选出一些文档,每篇文档内有一些词,我们利用这些词来构建词袋。我们的词袋可以是这种形式:{‘watch’,'sports','phone','like','roman',……},然后每篇文档都可以转化为以各个单词作为横坐标,以单词出现的次数为纵坐标的直方图,如下图所示,之后再进行归一化,将每个词出现的频数作为文档的特征。

 

2.应用

研究者们通过对 BoW 模型进行研究和探索,提出了采用k -means 聚类方法对所提取的大量特征进行无监督聚类,将具有相似性较强的特征归入到一个聚类类别里,定义每个聚类的中心即为图像的“单词”,聚类类别的数量即为整个视觉词典的大小。这样,每个图像就可以由一系列具有代表性的视觉单词来表示,根据Bow模型的思想延伸出了Bag of features算法。

三 、Bag of features算法

 1、收集图片,对图像进行sift特征提取。

2、从每类图像中提取视觉词汇,将所有的视觉词汇集合在一起

3、利用K-Means算法构造单词表。
K-Means算法是一种基于样本间相似性度量的间接聚类方法,此算法以K为参数,把N个对象分为K个簇,以使簇内具有较高的相似度,而簇间相似度较低。SIFT提取的视觉词汇向量之间根据距离的远近,可以利用K-Means算法将词义相近的词汇合并,作为单词表中的基础词汇
4、针对输入的特征集,根据视觉词典进行量化,把输入图像转化成视觉单词的频率直方图。

5、构造特征到图像的倒排表,通过倒排表快速索引相关图像。
6、根据索引结果进行直方图匹配。

四、实验与结果

1.图像的sift特征提取及创建词汇

源代码:

复制代码

复制代码
# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist
from PCV.localdescriptors import sift

#获取图像列表
imlist = get_imlist('C:/Users/LE/PycharmProjects/untitled/js/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#提取文件夹下图像的sift特征
for i in range(nbr_images):
sift.process_image(imlist[i], featlist[i])

#生成词汇
voc = vocabulary.Vocabulary('ukbenchtest')
voc.train(featlist, 1000, 10)
#保存词汇
with open('C:/Users/LE/PycharmProjects/untitled/js/vocabulary.pkl', 'wb') as f:
pickle.dump(voc, f)
print ('vocabulary is:', voc.name, voc.nbr_words)
复制代码
复制代码

运行结果:

 

 

 

2.建立数据库+创建图像索引

源代码:

复制代码

复制代码
# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import imagesearch
from PCV.localdescriptors import sift
from sqlite3 import dbapi2 as sqlite
from PCV.tools.imtools import get_imlist

#获取图像列表
imlist = get_imlist('C:/Users/LE/PycharmProjects/untitled/js/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#载入词汇
with open('C:/Users/LE/PycharmProjects/untitled/js/vocabulary.pkl', 'rb') as f:
voc = pickle.load(f)
#创建索引
indx = imagesearch.Indexer('testImaAdd.db',voc)
indx.create_tables()

#遍历所有的图像,并将它们的特征投影到词汇上
for i in range(nbr_images)[:1000]:
locs,descr = sift.read_features_from_file(featlist[i])
indx.add_to_index(imlist[i],descr)

#提交到数据库
indx.db_commit()
con = sqlite.connect('testImaAdd.db')
print(con.execute('select count (filename) from imlist').fetchone())
print(con.execute('select * from imlist').fetchone())
复制代码
复制代码

运行结果:

 

 3.在数据库中搜索图像

源代码:

复制代码

复制代码
# -*- coding: utf-8 -*-
import pickle
from PCV.localdescriptors import sift
from PCV.imagesearch import imagesearch
from PCV.geometry import homography
from PCV.tools.imtools import get_imlist

# 载入图像列表
imlist = get_imlist('C:/Users/LE/PycharmProjects/untitled/js/')
nbr_images = len(imlist)
# 载入特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]

# 载入词汇
with open('C:/Users/LE/PycharmProjects/untitled/js/vocabulary.pkl', 'rb') as f:
voc = pickle.load(f)

src = imagesearch.Searcher('testImaAdd.db', voc)

# 查询图像索引和查询返回的图像数
q_ind = 0
nbr_results = 20

# 常规查询(按欧式距离对结果排序)
res_reg = [w[1] for w in src.query(imlist[q_ind])[:nbr_results]]
print('top matches (regular):', res_reg)

# 载入查询图像特征
q_locs, q_descr = sift.read_features_from_file(featlist[q_ind])
fp = homography.make_homog(q_locs[:, :2].T)

# 用单应性进行拟合建立RANSAC模型
model = homography.RansacModel()
rank = {}

# 载入候选图像的特征
for ndx in res_reg[1:]:
locs, descr = sift.read_features_from_file(featlist[ndx])

matches = sift.match(q_descr, descr)
ind = matches.nonzero()[0]
ind2 = matches[ind]
tp = homography.make_homog(locs[:, :2].T)
try:
H, inliers = homography.H_from_ransac(fp[:, ind], tp[:, ind2], model, match_theshold=4)
except:
inliers = []
rank[ndx] = len(inliers)

sorted_rank = sorted(rank.items(), key=lambda t: t[1], reverse=True)
res_geom = [res_reg[0]] + [s[0] for s in sorted_rank]
print ('top matches (homography):', res_geom)

# 显示查询结果
imagesearch.plot_results(src, res_reg[:8]) # 常规查询
imagesearch.plot_results(src, res_geom[:8]) # 重排后的结果
复制代码
复制代码

运行结果:

常规查询

 

 

用单应性进行拟合建立RANSAC模型进行查询

 

 

 

 

 可以看出这两种的查询结果并不完全一致,但是在查询出来的前几张图像是一致的

 4.测试

源代码:

复制代码

复制代码
# -*- coding: utf-8 -*-
import pickle
from PCV.localdescriptors import sift
from PCV.imagesearch import imagesearch

#载入词汇
from save import imlist
from sousuo import featlist

f = open('C:/Users/LE/PycharmProjects/untitled/js/vocabulary.pkl', 'rb')
voc = pickle.load(f)
f.close()

src = imagesearch.Searcher('testImaAdd.db',voc)
locs,descr = sift.read_features_from_file(featlist[0])
iw = voc.project(descr)

print ('ask using a histogram...')
print (src.candidates_from_histogram(iw)[:10])

src = imagesearch.Searcher('testImaAdd.db',voc)
print ('try a query...')

nbr_results = 30
res = [w[1] for w in src.query(imlist[0])[:nbr_results]]
imagesearch.plot_results(src,res)
复制代码
复制代码

 运行结果:

 

五、总结

从结果不难看到,与输入图片的拍摄位置(建筑物+天空),纹理相近,形状相似,颜色相近。
证明视觉词汇可能主要是从这三个方面进行匹配。当然,检索出的图像还存在一定的差异,提高检索准确率是我们需要解决的问题。

此外,我还了解了图像检索的一些问题:

使用k-means聚类,除了其K和初始聚类中心选择的问题外,对于大量数据,输入矩阵的巨大将使得内存溢出及效率低下。有方法是在大量图片中抽取部分训练集分类,使用朴素贝叶斯分类的方法对图库中其余图片进行自动分类。另外,由于图片爬虫在不断更新后台图像集,重新聚类的代价显而易见。
字典大小的选择也是问题,字典过大,单词缺乏一般性,对噪声敏感,计算量大,关键是图象投影后的维数高;字典太小,单词区分性能差,对相似的目标特征无法表示
相似性测度函数用来将图象特征分类到单词本的对应单词上,其涉及线型核,塌方距离测度核,直方图交叉核等的选择。
不足之处:

Kmeans聚类时间长
词袋表征特征的过程其实牵涉到量化的过程,这其实损失了特征的精度。
检索模块设计的太粗糙,速度太慢

六、遇到的问题和解决方法

1.建立数据库代码运行报错没有sqlite2模块,后百度知道python2.7版本以后采用sqlite3模块,其中也包含了sqlite2的方法,把imagesearch.py中的

改为   

 

 

 

posted on 2020-05-24 15:31  一个女的  阅读(712)  评论(0编辑  收藏  举报