Andy_YF

对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。机器算法和人不一样的地方是人可以直接理解词的意思，文章的意思，机器和算法不能理解。人看到苹果这两个字就知道指的是那个圆圆的，有水的挺好吃的东西，搜索引擎却不能从感性上理解。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。什么是中文分词：众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计 Read More

中文机械分词算法入门 作者：Sunny from Hour41 (www.hour41.com )这几天因为要负责新的搜索系统中的分词，所以看了一些入门级的分词算法。其中主要是机械分词方法，趁这个机会总结下。机械分词方法又叫基于字符串匹配的分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行区配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。 Read More