摘要：搜索引擎的结果取决于两组信息：网页的质量信息，这个查询与每个网页的相关性信息。这里，我们介绍前一个。1.PageRank算法原理 算法的原理很简单，在互联网上，如果一个网页被很多其他网页所链接，说明它收到普遍的承认和信赖，那么它的排名就高。比如我们要找李开复博士，有100个人举手说自己是李开复... 阅读全文

摘要：上面我们谈了在搜索引擎中，如何建立索引，这里，我们讲如何自动下载互联网上所有的网页，重点就是图论中的遍历算法。 1.图论和网络爬虫 遍历算法主要有两种，一种是深度优先遍历，一种是广度优先遍历。所谓深度优先遍历，就是从一个节点开始，一直沿着一条路走到底，直到没路了，再回过头去找别的路，再一路走... 阅读全文

摘要：接下来的几章，我们将讨论搜索引擎的一些基础知识。要真正做好搜索引擎，不可能是一朝一夕的事情，没有捷径可走。做好搜索，最基本的要求是每天分析10-20个不好的搜索结果，累积一段时间才有感觉。但是往往很多工程师都做不到这一点。搜索殷勤的原理其实非常简单：自动下载尽可能多的网页；建立快速有效的索引；根... 阅读全文

摘要：1.信息熵 我们用一个生动的例子来说明这个概念：刚好这几天举行世界杯，我们都会猜谁会获得冠军。假设有32支球队，编号从1-32。然后问：“冠军是在1-16中吗？”，不是的话就是在6-32中，一次类推。我们最多需要猜测5次就能猜出谁是冠军（log32）。但事实上，我们可能不需要5次就能猜出来，因为像... 阅读全文

摘要：隐马模型是一个不复杂但在NLP上最有效、快速的方法。1.通信模型 自然语言和通信的联系是天然的，当自然语言处理问题回归到通信系统中的解码问题时，很多难题就迎刃而解了。 前面已经说了，我们把说话看作是一种编码方式，然后通过喉咙、空气传播，听到话的人的耳朵接收，再理解说的话，也就是语音识别。如果... 阅读全文

摘要：1.中文分词的演变由于中文等语言，字与字之间是没有空格隔开的，所以需要分词。最简单的分词就是查字典。就是从左到右或者从右到左扫描一句话，然后找到最长的匹配。这种方法可以解决七八成的分词问题。但是毕竟太简单了一点。后来哈工大王晓龙博士把查字典方法理论化，发展成最少词数的分词理论，即一句话应该分成数量最... 阅读全文

摘要：任何语言，都可以被认为是一种编码方式，而语言的语法规则是编码解码的算法。我们把我们要表达的意思，通过一句话（一种编码）传送出去，听到这句话的人（接到编码信息），理解这句话（解码），从而理解对方要表达的意思。这是一个比较有趣又生动的过程。自然语言处理可以说是从1950年开始的，至今有60多年的历史。但... 阅读全文