面试-hystack全文检索
1、介绍
''' - 全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。 - haystack： django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearch四种全文检索引擎后端，属于一种全文检索的框架。 - whoosh： 纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用。 - jieba： 一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。 '''
二 Haystack安装
# pip install django-haystack # pip install whoosh # pip install jieba
三 Haystack的安装配置
1、Django配置settings添加 "INSTALLED_APPS"
'''
添加Haystack到Django的`INSTALLED_APPS`中。
跟大多数Django的应用一样，你应该在你的设置文件(通常是`settings.py`)添加Haystack到`INSTALLED_APPS。
'''
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
# 添加
'haystack',
# 你的app
'blog',
]
2、在Django的settings中添加 "搜索引擎" 配置
搜索引擎是一个可以通过搜索关键字搜索出数据的第三方插件！就像我们平时用的百度。百度其实是先把数据是爬回来的，然后通过搜索引擎来搜索数据。全文检索就是只要你百度里面有tank这个人，那他都能搜索出来。不过不只是标题有，只要文字里面有，都能找出来！问题是如果是查标题还好，但是如果全文查找是不是有可能数据有10万100万条，那你怎么找？每一次过来都得在这堆数据里面查找。这样的话你的机器就会扛不住！所以我们出现了搜索引擎。搜索引擎的原理就是数据库里面无论有多少数据，都会在搜索引擎里面添加一份数据，每次搜索数据就是相当于从搜索引擎里面查数据，所以效率特别快！
'''
搜索引擎也有很多种，至于使用哪一种就看你的选择。其中Whoosh搜索引擎是python写的，所以它与python最为搭配！
无论选择的是哪一个搜索引擎都需要去settings里面配置。
'''
# Solr示例
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.solr_backend.SolrEngine',
'URL': 'http://127.0.0.1:8983/solr'
# ...or for multicore...
# 'URL': 'http://127.0.0.1:8983/solr/mysite',
},
}
# Elasticsearch示例
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
'URL': 'http://127.0.0.1:9200/',
'INDEX_NAME': 'haystack',
},
}
# Whoosh示例
# 需要设置PATH到你的Whoosh索引的文件系统位置
import os
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
},
}
# 自动更新索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
# Xapian示例
# 首先安装Xapian后端（http://github.com/notanumber/xapian-haystack/tree/master）
# 需要设置PATH到你的Xapian索引的文件系统位置。
import os
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'xapian_backend.XapianEngine',
'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'),
},
}
四 处理数据
1、创建索引
search_indexes.py
from haystack import indexes
from app01.models import Article
class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
#类名必须为需要检索的Model_name+Index，这里需要检索Article，所以创建ArticleIndex
text = indexes.CharField(document=True, use_template=True)#创建一个text字段
#其它字段
desc = indexes.CharField(model_attr='desc')
content = indexes.CharField(model_attr='content')
def get_model(self):#重载get_model方法，必须要有！
return Article
def index_queryset(self, using=None):
return self.get_model().objects.all()
注意：
如果使用一个字段设置了document=True，则一般约定此字段名为text，这是在ArticleIndex类里面一贯的命名，以防止后台混乱，当然名字你也可以随便改，不过不建议改。另外，我们在text字段上提供了use_template=True。这允许我们使用一个数据模板（而不是容易出错的级联）来构建文档搜索引擎索引。你应该在模板目录下建立新的模板search/indexes/blog/article_text.txt，并将下面内容放在里面。
2、添加搜索字段
# 在目录“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件
{{ object.title }}
{{ object.desc }}
{{ object.content }}
五 视图设置
1、添加url
url(r'^search/', include('haystack.urls')),
2、搜索模板
templates.search.search.html
<!DOCTYPE html>
<html>
<head>
<title></title>
<style>
span.highlighted {
color: red;
}
</style>
</head>
<body>
{% load highlight %}
{% if query %}
<h3>搜索结果如下：</h3>
{% for result in page.object_list %}
{# <a href="/{{ result.object.id }}/">{{ result.object.name }}</a><br/>#}
<a href="/{{ result.object.id }}/">{% highlight result.object.name with query max_length 2%}</a><br/>
<p>{{ result.object.content|safe }}</p>
{# <p>{% highlight result.content with query %}</p>#}
{% empty %}
<p>啥也没找到</p>
{% endfor %}
{% if page.has_previous or page.has_next %}
<div>
{% if page.has_previous %}
<a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« 上一页
{% if page.has_previous %}</a>{% endif %}
|
{% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}下一页 »
{% if page.has_next %}</a>{% endif %}
</div>
{% endif %}
{% endif %}
</body>
</html>
# python manage.py rebuild_index
六
jieba是一个自然语言处理之中文分词器。因为haystack全文检索是老外写的，别人没有自带的中分分词搜索。所以我们需要通过jieba分词器才修改全文检索的源码，这样我们就可以通过中文来搜索了。
1、修改haystack\backends的源码
# 建立ChineseAnalyzer.py文件
# 保存在haystack的安装文件夹下，路径如“D:\python3\Lib\site-packages\haystack\backends”
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode,
**kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
# 复制whoosh_backend.py文件，改名为whoosh_cn_backend.py # 注意：复制出来的文件名，末尾会有一个空格，记得要删除这个空格 from .ChineseAnalyzer import ChineseAnalyzer 查找 analyzer=StemmingAnalyzer() 改为 analyzer=ChineseAnalyzer()
七 在模板中创建搜索栏
<form method='get' action="/search/" target="_blank">
<input type="text" name="q">
<input type="submit" value="查询">
</form>
八 其他配置
1、增加更多搜索变量
from haystack.views import SearchView
from .models import *
class MySeachView(SearchView):
# 重载extra_context来添加额外的context内容
def extra_context(self):
context = super(MySeachView,self).extra_context()
side_list = Topic.objects.filter(kind='major').order_by('add_date')[:8]
context['side_list'] = side_list
return context
# 路由修改
url(r'^search/', search_views.MySeachView(), name='haystack_search'),
2、高亮显示
{% highlight result.summary with query %}
# 这里可以限制最终{{ result.summary }}被高亮处理后的长度
{% highlight result.summary with query max_length 40 %}
#html中
<style>
span.highlighted {
color: red;
}
</style>
浙公网安备 33010602011771号