文本挖掘之文本聚类（借力打力）

刘勇    Email：lyssym@sina.com

简介

　　在文本相似度判定中，作者将该算法用于文本聚类中，其核心思想通过比较两个文本向量中元素的相似度，即向量中所含的元素相似个数越多，则两个向量越相似，继而上述文本越相似。作者在短文本相似判定中采用了余弦相似度该算法来实现，本文借鉴数学集合取交集，借用现有组件来实现上述算法功能，继而减少工作量，也具备便捷性，也能取得较好的效果。

数学集合

　　该方法的思想为：先将文本数据采用中文切分，将其切分为词汇（词组、短语、词汇的统称，本文不做细粒度划分），并以某种特征表示进行量化（本文按词频量化），通过取文本向量的交集，若交集的重复率为70%，则判定两篇文本相似。通过将相似文本聚合成链表存储，进而能实现文本聚类。

　　以下内容则以python中具体实现来阐述。

def match_topic(self, keywords, topics):
        keywords = set(keywords)
        keywords_count = len(keywords)
        for topic in topics:
            intersection = keywords.intersection(topic['keywords'])
            if len(intersection) > keywords_count * 0.7 or len(intersection) > len(topic['keywords']) * 0.7:
                yield topic

　　备注：keywords 制定匹配话题关键字列表，tipics为待匹配文本数据，每条数据为一个JSON对象，其中包含Web文本数据的标题、内容、发布时间等信息。其中涉及到长句与短句的关系，因此文本采用“或”操作来确定匹配话题，实现话题聚类。

Elasticsearch

　　Elasticsearch是全文检索服务器，采用倒排索引对词汇建立索引，因此在文本检索方面具有较大的效率优势。本文将该工具以类似数学集合的方式来组织，继而实现文本聚类。

　　以下内容则以Java中具体实现来阐述。

import org.elasticsearch.action.index.IndexRequestBuilder;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;

import java.util.List;
import org.elasticsearch.node.NodeBuilder.*;

public class SearchHandler {
    private Client client;
    
    public SearchHandler(String ipAddress) 
    {
        client = new TransportClient().addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));
    }
    
    
    public void createIndexResponse(String indexName, String type, List<String> data) 
    {
        IndexRequestBuilder requestBuilder = client.prepareIndex(indexName, type).setRefresh(true);
        int len = data.size();
        for (int i = 0; i < len; i++) 
            requestBuilder.setSource(data.get(i)).execute().actionGet();
            
    }
    
    
    public IndexResponse createIndexResponse(String indexName, String type, String data)
    {
        IndexResponse response = client.prepareIndex(indexName, type).setSource(data).execute().actionGet();
        return response;
    }

    
    public void searchResponse(QueryBuilder queryBuilder, String indexName, String type) 
    {
        SearchResponse searchResponse = client.prepareSearch(indexName).setTypes(type)
                .setQuery(queryBuilder)
                .setMinScore((float)3)
                .setSize(10)
                .execute()
                .actionGet();
        SearchHits hits = searchResponse.getHits();
        System.out.println("查询到记录数=" + hits.getTotalHits());
        SearchHit[] searchHits = hits.getHits();
        for (SearchHit hit : searchHits) {
            String keywords = (String)hit.getSource().get("title");
            System.out.println(keywords);
        }
    }    
}

import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;

public class Test {

    public static void main(String[] args) {
        SearchHandler sh = new SearchHandler("192.168.101.243");
        String indexName = "title";
        String type = "test";
                
        QueryBuilder qb = QueryBuilders.matchQuery(indexName, "主持政治局常委会").minimumShouldMatch("70%").boost((float)0.2);
        long start = System.currentTimeMillis();
        sh.searchResponse(qb, indexName, type);
        long end = System.currentTimeMillis();
        
        System.out.println("查询所需时间为： " + (end -start) + " ms");
    }
}

　　针对匹配存在长句与短句特例，详细内容见文本相似度判定中具体描述，其解决方案为采用两次检索实现，以下内容根据项目中实际经验设定的数值，读者可根据应用场景具体设置：

　　1）若匹配文本为长句，见matchQuery，则设定minimumShouldMatch("70%")，该部分与集合取交集等同，然后设置setMinScore((float)3)，即将Elasticsearch检索的评分稍微设置高一点；

　　2）若待匹配文本为短句，则设定minimumShouldMatch("90%")，该部分与集合取交集等同，然后设置setMinScore((float)0.7)，即将Elasticsearch检索的评分稍微设置低一点。

总结

　　本文介绍了两种借助现有组件实现文本聚类的方法，上述方法具有便捷性，经过实际大量Web文本数据测试，上述方法均实用、可行。本文作者推荐采用Elasticsearch实现的方法，由于对文本处理应用经常会使用文本检索服务，因此引入Elasticsearch，可以为后续应用扩展提供便利。后续本文作者将从机器学习角度介绍文本聚类算法。

 

 

---

　　作者：志青云集
　　出处：http://www.cnblogs.com/lyssym
　　如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。
　　如果，您希望更容易地发现我的新博客，不妨点击一下左下角的【关注我】。
　　如果，您对我的博客所讲述的内容有兴趣，请继续关注我的后续博客，我是【志青云集】。
　　本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。

---