全文检索Elasticsearch、Haystack框架

1、全文检索和搜索引擎原理

需求：在搜索框输入关键字后，提供相关的搜索结果。

1.1、搜索实现：

1. 模糊查询like关键字实现
2. like关键字的效率极低
3. 查询需要在多个字段中进行，使用like关键字也不方便

1.2、全文检索方案：

1. 在指定的任意字段中进行检索查询
2. 需要配合搜索引擎来实现

1.3、搜索引擎原理：

1. 搜索引擎进行全文检索时，会对数据库中的数据进行一遍预处理，单独建立起一份索引结构数据。
2. 索引结构数据类似新华字典的索引检索页，里面包含了关键词与词条的对应关系，并记录词条的位置。
3. 搜索引擎进行全文检索时，将关键字在索引数据中进行快速对比查找，进而找到数据的真实存储位置

2、Elasticsearch介绍

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。

实现全文检索的搜索引擎，首选的是 Elasticsearch

1. 用Java实现的，开源的搜索引擎
2. 可以快速地储存、搜索和分析海量数据。维基百科、StackOverflow、Github 等都采用它。
3. Elasticsearch 的底层是开源库 Lucene。但是，没法直接使用 Lucene，必须自己写代码去调用它的接口。

3、使用 Docker 部署 Elasticsearch

3.1、获取Elasticsearch-ik镜像

# 从仓库拉取镜像
sudo docker image pull delron/elasticsearch-ik:2.4.6-1.0

# 或者是: 
# 解压教学资料中本地镜像
sudo docker load -i elasticsearch-ik-2.4.6_docker.tar

3.2、配置Elasticsearch-ik

• 将elasticsearch镜像配置压缩包(跟镜像里面elasticsearch配置文件一样)解压的目录拷贝到home目录
• 修改 /home/elasticsearc-2.4.6/config/elasticsearch.yml文件：更改ip为本机真实的ip地址

network.host: 192.168.203.153

3.3、使用Docker运行Elasticsearch-ik

sudo docker run -dti --name=elasticsearch --network=host -v /home/elasticsearch-2.4.6/config:/usr/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0

4、Haystack框架对接搜索引擎ES

4.1、Haystack 介绍

Elasticsearch的底层是开源库 Lucene ，但没法直接使用Lucene，必须自己写代码去调用它的接口

思考：如何对接Elasticsearch服务端？

•  Haystack

• Haystack 是在 Django 中对接搜索引擎的框架，搭建了用户和搜索引擎之间的沟通桥梁。
• Haystack 可以在不修改代码的情况下使用不同的搜索后端（比如 Elasticsearch、Whoosh、Solr等等）。

4.2、Haystack 安装及注册

# 联网安装haystack和elasticsearch

pip install django-haystack -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install elasticsearch==2.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple


# haystack应用注册
INSTALLED_APPS = [
    # 全文检索
    'haystack',
]

4.3、Haystack配置

在配置文件中配置 Haystack 为搜索引擎后端

# Haystack
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://192.168.203.153:9200/', # Elasticsearch服务器ip地址，端口号固定为9200
        'INDEX_NAME': 'meiduo_mall', # Elasticsearch建立的索引库的名称
    },
}

# 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

说明：HAYSTACK_SIGNAL_PROCESSOR 配置项保证了在 Django 运行起来后，有新的数据产生时，Haystack 仍然可以让 Elasticsearch 实时生成新数据的索引

4.4、Haystack 建立数据索引

4.4.1、创建索引类

• 通过创建索引类，来指明让搜索引擎对哪些字段建立索引，也就是可以通过哪些字段的关键字来检索数据。

• 本项目中对 SKU 信息进行全文检索，所以在goods 应用中新建 search_indexes.py 文件，用于存放索引类。

from haystack import indexes
from .models import SKU

class SKUIndex(indexes.SearchIndex, indexes.Indexable):
    """SKU索引数据模型类"""
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        """返回建立索引的模型类"""
        return SKU

    def index_queryset(self, using=None):
        """返回要建立索引的数据查询集"""
        return self.get_model().objects.filter(is_launched=True)

索引类 SKUIndex 说明：

1. 在 SKUIndex 建立的字段，都可以借助 Haystack 由 Elasticsearch 搜索引擎查询。
2. 其中 text字段我们声明为 document=True，表名该字段是主要进行关键字查询的字段。
3. text字段的索引值可以由多个数据库模型类字段组成，具体由哪些模型类字段组成，我们用 use_template=True 表示后续通过模板来指明。

4.4.2、创建 text 字段索引值模板文件

• 在 templates 目录中创建text字段使用的模板文件
• 具体在 templates/search/indexes/goods/sku_text.txt文件中定义

{{ object.name }}
{{ object.caption }}

模板文件说明：当将关键词通过text参数名传递时，此模板指明 SKU的id、name、caption作为text字段的索引值来进行关键字索引查询。

4.4.3、手动生成初始索引

在命令行中添加如下命令, 来手动生成索引表:

python manage.py rebuild_index

4.5、后端逻辑

# 导入: 
from haystack.views import SearchView

class MySearchView(SearchView):
    '''重写SearchView类'''
    def create_response(self):
        page = self.request.GET.get('page')
        # 获取搜索结果
        context = self.get_context()
        data_list = []
        for sku in context['page'].object_list:
            data_list.append({
                'id':sku.object.id,
                'name':sku.object.name,
                'price':sku.object.price,
                'default_image_url':sku.object.default_image.url,
                'searchkey':context.get('query'),
                'page_size':context['page'].paginator.num_pages,
                'count':context['page'].paginator.count
            })
        # 拼接参数, 返回
        return JsonResponse(data_list, safe=False)

4.6、添加子路由

    # 搜索路由--千万注意: 没有as_view()
    path('search/', views.MySearchView()),

4.7、Haystack搜索结果分页

设置每页返回数据条数

# 可以在 dev.py 中添加如下代码, 用于决定每页显示数据条数: 
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 5

5、DRF使用haystack对接elasticsearch

前序步骤与上述类似

    ……

5.1、创建索引类

通过创建索引类，来指明让搜索引擎对哪些字段建立索引，也就是可以通过哪些字段的关键字来检索数据。
本项目中对 模型类中的信息进行全文检索，所以在 子应用 应用中新建 search_indexes.py 文件，用于存放索引类。

from haystack import indexes
from Headlines.models import Article


class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
    """文章索引模型类"""
    text = indexes.CharField(document=True, use_template=True)
    id = indexes.IntegerField(model_attr='id')
    createtime = indexes.DateTimeField(model_attr='createtime')
    content = indexes.CharField(model_attr='content')
    title = indexes.CharField(model_attr='title')

    def get_model(self):
        """返回建立索引的模型类"""
        return Article

    def index_queryset(self, using=None):
        """返回要建立索引的数据查询集"""
        return self.get_model().objects.all()

5.2、创建text字段索引值模板文件

templates/search/indexes/Headlines/article_text.txt 文件中定义

{{ object.id }}
{{ object.title }}
{{ object.channel }}
{{ object.labels }}
{{ object.content }}

模板文件说明：当将关键词通过text参数名传递时此模板指明 Article 的id、title、channel、labels和content作为text字段的索引值来进行关键字索引查询。

5.3、手动生成初始索引

python manage.py rebuild_index

5.4、后端逻辑

5.4.1、views.py

from drf_haystack.viewsets import HaystackViewSet
# 搜索文章
class SearchArticleViewSet(HaystackViewSet):
    # GET  /Headlines/search/?text=<搜索关键字>
    # 这里可以写多个模型，相应的：serializer里也可以写多个index_classes
    index_models = [Article]
    serializer_class = SearchArticleIndexSerializer

5.4.2、serializers.py

from drf_haystack import serializers as HSER
# 搜索文章
class SearchArticleIndexSerializer(HSER.HaystackSerializer):

    class Meta:
        index_classes = [ArticleIndex]  # 索引类的名称,可以有多个
        fields = ('text', 'content', 'id', 'title', 'createtime')

5.4.3、urls.py

# 搜索文章路由
from rest_framework.routers import DefaultRouter
from Headlines.views import SearchArticleViewSet

router = DefaultRouter()
router.register(r'Headlines/search', SearchArticleViewSet, base_name='search')
urlpatterns += router.urls