对乡村地名进行模糊匹配
想法是这样的，根据一个随手输入的乡村地名，匹配出其严格的五级行政地址。例如输入的”无极县东侯坊乡南池阳村助农点“，便要匹配出”河北省-石家庄市-无极县-东侯坊乡-南池阳村“。后面的这个五级的行政地址是已知存在数据库里的。
大概的思路是首先进行分词，如上面的分成”无极县“，”东侯坊乡“，”南池阳村“，然后再匹配看有没有包含这几个词的五级行政地名。
第一部分：分词
1.构建分词的地名字典
要分词首先要有字典。这里我们已经明确都是行政地名，所以构建这样的地名字典还是很简单的。还是上面的例子”河北省-石家庄市-无极县-东侯坊乡-南池阳村“，拆分成”河北省“，”石家庄市“，”无极县“，”东侯坊乡“，”南池阳村“便就可存入地名字典了。这个地名字典属于是静态且可重复利用的，这部分我便就在数据库端处理了。
创建地名字典表namedict
CREATE TABLE `namedict` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `name` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_bin', PRIMARY KEY (`id`) )
之后往表里插入记录
insert into `namedict` (name) select distinct(substring_index(substring_index(village_name,'-',1),'-',-1)) from new_village -- 河北省 union all select distinct(substring_index(substring_index(village_name,'-',2),'-',-1)) from new_village -- 石家庄市 union all select distinct(substring_index(substring_index(village_name,'-',3),'-',-1)) from new_village -- 无极县 union all select distinct(substring_index(substring_index(village_name,'-',4),'-',-1)) from new_village -- 东侯坊乡 union all select distinct(substring_index(substring_index(village_name,'-',5),'-',-1)) from new_village -- 南池阳村
统计了一下地名字典表namedict里共计33万多条的记录。
2.分词判断
有了地名字典就可以进行分词判断了。比如”无极县“，拿这个词到字典里匹配一下是否存在，就知道是否有这个地名了。而”无极县东“在字典里是不存在的，那就可以知道这个地名是不存在的，就不能这样分词了。这里面要注意匹配时判断的效率问题，要避免全扫描，不能每次匹配判断都把33万条记录都扫描一遍，因为一个名字是要经过多次的分词判断才能够得到结果的。也正是这个原因，我把地名字典的所有条目都加载到python的变量里的，这样能够避免多次地和数据库交互。
a.首先先进行hash判断
把33万条记录存放到python的字典变量dict里，那么通过一次hash判断就知道这个地名是否存在。
b.然后再进行范围扫描判断
我们都知道”石家庄市“和”石家庄“是一个意思，但是在dict里面存”石家庄市“而用”石家庄“去匹配是匹配不到的，这里就需要用到范围扫描。
1)把33万个名字再存放到一个list里面，并以一定的规则从小到大排序，如[a1,a2,a3,a4,...,an],且(a1<a2<a3<a4<...an)。
2)if x<a1 or x>an，那就表示x不在list的范围里，也就表示x不在名字字典的范围里，那就不用考虑了。
3)if not (x<a1 or x>an)，那么可以先对排序的列表进行分组，每1000元素个作为一个分组。因为是递增排序的，从最右边（最大的）的分组开始，对每个分组的第一个元素（每个分组中最小的元素）进行比较。如果小于等于了这个分组的第一个元素，就表示了这个x在这个分组的范围之内。再以这个分组的第一个元素为开始，向后查询。如果x<=list[i]，那么i就是这个范围的起点；如果x>list[j],那么j就是这个范围的终点。这种方式其实就是参考了数据库的索引范围查找算法(B+Tree index range scan)，虽说也不算高效，但也比全扫描要好很多了。
3.分词
分词以两个字为起点开始分词，以“无极县东侯坊乡南池阳村助农点”为例：
“无极”是一个词，“无极县”是一个词，“无极县东”不是一个词，那把“无极县”提取出来后面的“东侯坊乡南池阳村助农点”继续。直到拆分成“无极县”，“东侯坊乡”，“南池阳村”。
二.根据分词对五级村名进行匹配
这部分其实也很简单，只要一条SQL语句就能搞定最后的匹配了：
mysql> select village_name from new_village where village_name like '%无极县%东侯坊乡%南池阳村%'; +------------------------------------------------------------+ | village_name | +------------------------------------------------------------+ | 河北省-石家庄市-无极县-东侯坊乡-南池阳村 | +------------------------------------------------------------+ 1 row in set (0.62 sec)
这样的语句是不能走索引的只能全表扫描，不过好在全表也就66万多条记录，总共就几十M的大小，完全可以缓存在数据库的内存里的。
不过即便如此也还是有可优化的空间的。首先把所有的66万个五级行政村名都放到python的list里面，其后可以采取类似数据库全文索引的方法。全文索引的难点在于分词以及stopword的鉴定，而我们这里的条目天然就是已分词好的：”河北省-石家庄市-无极县-东侯坊乡-南池阳村“，也不存在stopword。这里我们需要做的只是记录下每个词所在列表的位置。还是上面那个例子：
fullindex["无极县"]=set([58414, 58415, 58416, 58417, 58418, 58419, 58420, 58421, 58422, 58423,...])
fullindex["东侯坊乡"]=set([58445, 58446, 58447, 58448, 58449, 58450, 58451, 58452, ...])
fullindex["南池阳村"]=set([58460])
再对这几个集合做交集操作得到set([58460])，那list[58460]就是我们要找的“河北省-石家庄市-无极县-东侯坊乡-南池阳村”。（这里得到的是最好的情况有且仅有一个，也有可能会有多个例如只写了个“河北”，那会把河北省所有的村都匹配出来；也有可能一个也没有，那就是地名写的不对，一个也匹配不出来。）
三.运行情况：
1.占用内存
因为对于数据库的操作就是开始的时候加载了两份数据：地名字典（33万）和五级行政村名（66万），大部分的操作都是通过代码实现的，所以最后统计了下比较重要的几个python变量所占用的内存：
存储地名字典的列表：2678096
存储地名字典的dict:12583184
存储五级村名的列表：5429648
存储分词位置的dict:12583184
总共看下来程序运行大概会占用33M左右的内存。
2.花费时间
整个程序运行一次要47秒左右，其中从数据库加载数据的时间比较长，大概要42秒，程序进行分词再对村名进行匹配大概用了5秒左右。如果把程序改成服务端的，那只要在启动的时候加载一次数据即可。要是在分词匹配村名之前能够确认省份的话，那这一动作就能降到1秒左右，就基本能够满足线上操作的要求了。
最后大致的代码如下：
#!/usr/local/bin/python # -*- coding: utf8 -*- ''' Created on 2016年6月12日 @author: PaoloLiu ''' from mysqlhelper import * import logging,re,sys,itertools,time def logger(): logging.basicConfig(level=logging.DEBUG, format='%(asctime)s [%(levelname)s] [%(filename)s] [%(threadName)s] [line:%(lineno)d] %(message)s', datefmt='%Y-%m-%d %H:%M:%S') def get_list_dict(mysqldb): results=mysqldb.executequery("select name from namedict") list_dict=[] for row in results: list_dict.append(row[0].decode("utf8")) list_dict.sort(cmp=None, key=None, reverse=False) return list_dict def get_dic(list_dict): dic={} for item in list_dict: dic[item]=1 return dic def index_range(list,item): # list要求是已排序的 length=len(list) result={} if item<list[0] or item>list[len(list)-1]: result["error"]=True else: for i in range(length/1000,-1,-1): if item>=list[i*1000]: branch=i*1000 # logging.debug("branch="+str(branch)) break for i in range(branch,length): if list[i]>=item: result["begin"]=i result["end"]=i # logging.debug("result[\"begin\"]="+str(result["begin"])) break for i in range(result["begin"],length): if item<list[i]: result["end"]=i # logging.debug("result[\"end\"]="+str(result["end"])) return result def isexist(name,dic,list_dict): pass result=[] if dic.get(name): result.append(name) else: pass range_result=index_range(list_dict,name) if range_result.get("error"): pass else: for i in range(range_result["begin"],range_result["end"]+1): # logging.debug("name="+name) # logging.debug("listname="+list_dict[i][0]) if re.match(name+".*",list_dict[i]): # logging.debug("name="+name) # logging.debug("listname="+list_dict[i][0]) result.append(list_dict[i]) return result def div_word(name,dic,list_dict): divlist=[] while len(name)>=2: match_flag=0 # logging.debug("name:"+name) for i in range(2,len(name)+1): result=[] result=isexist(name[0:i],dic,list_dict) # logging.debug("test name:"+name[0:i]) if len(result)>0: pass match_flag=1 previous=result else: if match_flag==1: # logging.debug("div name1:"+name[0:i-1]) divlist.append(previous) # logging.debug(previous) name=name[i-1:] # logging.debug("new name:"+name) break if i==len(name) and len(result)>0: # logging.debug("div name2:"+name[0:i]) divlist.append(result) name=name[i:] elif i==len(name): name=name[1:] return divlist def get_fullname_list(mysqldb): strsql="select village_name from new_village;" results=mysqldb.executequery(strsql) fullname_list=[] for row in results: fullname_list.append(row[0].decode("utf8")) return fullname_list def get_fullindex(fullname_list): fullindex={} for i in range (0,len(fullname_list)): split_list=fullname_list[i].split("-") for item in split_list: if fullindex.get(item): fullindex[item].add(i) else: fullindex[item]=set() fullindex[item].add(i) return fullindex def main(): begin=time.time() mysqldb=mysqlhelper("dbaadmin","123456","172.16.2.7","3306","spider") mysqldb.connect() list_dict=get_list_dict(mysqldb) dic=get_dic(list_dict) fullname_list=get_fullname_list(mysqldb) fullindex=get_fullindex(fullname_list) load_data_time=round((time.time()-begin),2) logging.info("加载数据耗时"+str(load_data_time)) logging.info("==============================================") name=u"无极县东侯坊乡南池阳村助农点" divlist=div_word(name, dic, list_dict) for x in itertools.product(*divlist): result=fullindex[x[0]] # logging.debug(x[0]) # logging.debug(fullindex[x[0]]) for i in range(1,len(x)): # logging.info(x[i]) # logging.info(fullindex[x[i]]) result=result&fullindex[x[i]] if len(result)>0: for item in result: # logging.debug(item) logging.info("match name:"+fullname_list[item]) match_time=round((time.time()-begin-load_data_time),2) logging.info("名称匹配耗时"+str(match_time)) logging.info("==============================================") logging.info("list_dict getsizeof:"+str(sys.getsizeof(list_dict))) logging.info("dic getsizeof:"+str(sys.getsizeof(dic))) logging.info("fullname_list getsizeof:"+str(sys.getsizeof(fullname_list))) logging.info("fullindex getsizeof:"+str(sys.getsizeof(fullindex))) mysqldb.close() if __name__ == '__main__': pass logger() main()
