当然可以直接使用基础类型string类型,不过string类型效率低,而且没有什么扩展支持,所以优先考虑TextField类型好一些。
<fieldType name="string" class="solr.StrField" sortMissingLast="true" docValues="true"/>
IK分词个别拆分的不够完美,另外个别业务逻辑是需要替代数据库的like查询。所以本篇文章是介绍如何在solr中使用类似数据库的like查询。
本片文章是介绍如何在solr中使用类似数据库的like操作。
首先我们抛弃text_ik。IK分词,因为使用的是like操作,所以这块不能在使用分词了。
我们需要在在conf目录下找到managed-schema配置文件。
增加节点如下:
<fieldType name="string_ci" class="solr.TextField" sortMissingLast="true" omitNorms="true">
<analyzer>
<tokenizer class="solr.KeywordTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory" />
</analyzer>
</fieldType>
考虑到模糊搜索效率,也可以加入ReversedWildcardFilterFactory
参数详解:
withOriginal:如果值为true,那么在相同的位置产生原始的和反向的标记。如果false,则只产生反向令牌。
maxPosAsterisk:指的是*最大在第几位会被翻转,默认是2.比如当值等于2的时候,搜索 *明星 和 女*明星 都会被翻转。建议默认值就行。
maxPosQuestion:指的是?号最大在第几位查询此会被翻转,默认为1。设置为0,1和maxposasterisk扭转单个的后缀查询
minTrailing:触发反转的附加参数,如果星号(“*”)的位置是低于这个分数查询标记长度。默认值为0.0f(禁用)
maxFractionAsterisk:查询单词星号(*)后面字符数量最小值。为了好的性能,这应该设置为大于1的值。默认为2。(推测:低于2的将不反转)。
<fieldType name="string_ci" class="solr.TextField" sortMissingLast="true" omitNorms="true">
<analyzer>
<tokenizer class="solr.KeywordTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory" />
<filter class="solr.ReversedWildcardFilterFactory" maxPosQuestion="2" maxFractionAsterisk="2" maxPosAsterisk="2" withOriginal="true"/>
</analyzer>
</fieldType>
另外配置一下查询字段,如下所示:
|
1
|
<field name="name" type="string_ci" indexed="true" stored="true"/> |
这种简单的配置即可完成like操作。
另外上边的配置增加 LowerCaseFilterFactory 。也就是忽略大小写的意思。
现在博主贴出一个query测试案例:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
|
public static Page<TScanqrSeller> querySellerFromSolrByName(Integer pageNumber, Integer pageSize, Kv cond) { Page<TScanqrSeller> page = new Page<TScanqrSeller>(); if(StringUtils.isNotBlank(cond.getStr("name"))){ String name = StringKit.escapeQueryChars(cond.getStr("name")); cond.set("name", name); } SolrQuery query = new SolrQuery(); query.setHighlight(false); query.addHighlightField("name"); query.setHighlightSimplePre("<mark>"); query.setHighlightSimplePost("</mark>"); query.setStart((pageNumber-1)*pageSize); query.setRows(pageSize); String sql = Const.BLANK; if(StringUtils.isNotBlank(cond.getStr("name"))) { sql += " AND name:*"+cond.getStr("name")+"*"; } if(StringUtils.isNotBlank(cond.getStr("companyId"))) { sql += " AND company_id:"+cond.getStr("companyId"); } sql = sql.substring(5, sql.length()); query.set("q", sql); List<TScanqrSeller> articles = new ArrayList<TScanqrSeller>(); SolrClient solrClient = createSolrServer(SolrUrlEnum.SOLR_SELLER.getValue()); try { QueryResponse response = solrClient.query(query); SolrDocumentList docList = response.getResults(); Iterator<SolrDocument> it = docList.iterator(); while (it.hasNext()) { SolrDocument doc = it.next(); String id = doc.getFieldValue("id").toString(); String name = doc.getFieldValue("name")==null?null:doc.getFieldValue("name").toString(); Long key = doc.getFieldValue("key")==null?0L:Long.valueOf(doc.getFieldValue("key").toString()); String shortName = doc.getFieldValue("short_name")==null?null:doc.getFieldValue("short_name").toString(); String companyId = doc.getFieldValue("company_id")==null?null:doc.getFieldValue("company_id").toString(); TScanqrSeller seller = new TScanqrSeller(); seller.set("id", id); seller.put("name_text", name); seller.set("key", key); seller.set("short_name", shortName); seller.set("company_id", companyId); if(StringUtils.isNotBlank(cond.getStr("name"))) { Pattern p = Pattern.compile(cond.getStr("name"), Pattern.CASE_INSENSITIVE); Matcher m = p.matcher(name); while(m.find()) { for(int i=0; i<=m.groupCount(); i++){ String oldValue = m.group(i); name = name.replaceFirst(StringKit.escapeQueryChars(oldValue), "<mark>"+oldValue+"</mark>"); } } seller.set("name", name); } // name = name.replaceAll("(?i)"+reqparam, "<mark>"+"(?i)"+reqparam+"</mark>"); articles.add(seller); } Integer totalRow = Integer.valueOf(docList.getNumFound()+""); Integer totalPage = (int) (totalRow % pageSize == 0 ? totalRow / pageSize : Math.ceil((double)totalRow / (double)pageSize)) ; page = new Page<TScanqrSeller>(articles, pageNumber, pageSize, totalPage, totalRow); } catch (SolrServerException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } finally{ try { solrClient.close(); } catch (IOException e) { e.printStackTrace(); } } return page; } |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
public static String escapeQueryChars(String s) { StringBuilder sb = new StringBuilder(); for (int i = 0; i < s.length(); i++) { char c = s.charAt(i); // These characters are part of the query syntax and must be escaped if (c == '\\' || c == '+' || c == '-' || c == '!' || c == '(' || c == ')' || c == ':' || c == '^' || c == '[' || c == ']' || c == '\"' || c == '{' || c == '}' || c == '~' || c == '*' || c == '?' || c == '|' || c == '&' || c == ';' || c == '/' || Character.isWhitespace(c)) { sb.append('\\'); } sb.append(c); } return sb.toString(); } |
上边有一点需要谨记,多条件查询的时候,连接符AND,要使用大写才能生效。
浙公网安备 33010602011771号