刺猬的温驯 - 博客园

隐马可夫模型：探索看不到的世界的数学工具

摘要：这篇要讨论的可不是哲学议题，而是希望以一个“数学工具”的角度来看隐马可夫模型（Hidden Markov Model, HMM）是什么，它的背后假设、长处与限制，以理解这样的工具可以拿来做什么用，而不是只与特定的应用绑在一起。隐马可夫模型？隐藏的马可夫模型？隐马可夫模型是机器学习（Machine L... 阅读全文

posted @ 2015-07-04 21:20 刺猬的温驯阅读(566) 评论(0) 推荐(0)

分类算法之朴素贝叶斯分类(Naive Bayesian classification)

摘要： 1.1、摘要贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义。然后，介绍贝叶斯分类算法的基础——贝叶斯定理。最后，通过实例讨论贝叶斯分类中最简单的一种：朴素贝叶斯分类。1.2、分类问题综述 ... 阅读全文

posted @ 2015-07-02 01:34 刺猬的温驯阅读(983) 评论(0) 推荐(0)

Naive Bayes 笔记

摘要： Naive Bayes (朴素贝叶斯) 属于监督学习算法, 它通过计算测试样本在训练样本各个分类中的概率来确定测试样本所属分类, 取最大概率为其所属分类.优点在数据较少的情况下仍然有效,可以处理多类别问题缺点对输入数据的准备方式较为敏感适用数据类型标称型基础概念1. 条件概率P(A|B)表示事件B已... 阅读全文

posted @ 2015-06-27 19:16 刺猬的温驯阅读(272) 评论(0) 推荐(0)

TF-IDF模型的概率解释

摘要：信息检索概述信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] … w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D’。对于这一问题，先后出现了布尔... 阅读全文

posted @ 2015-06-24 04:08 刺猬的温驯阅读(406) 评论(0) 推荐(0)

搜索引擎的排序技术

摘要：摘要:本文简要介绍和比较了目前搜索引擎所使用的排序算法，主要包括词频位置加权排序算法，链接分析排序算法，并着重介绍了PageRank算法和HITS算法的思想以及二者比较的优缺点。关键词:搜索引擎;排序; PageRank; HITS1前言Google和Baidu的崛起，很大程度上是由于他们使用了较以... 阅读全文

posted @ 2015-06-19 05:33 刺猬的温驯阅读(3392) 评论(0) 推荐(0)

搜索引擎的检索模型-查询与文档的相关度计算

摘要： 1. 检索模型概述搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。判断网页内容是否与用户査询相关，这依赖于搜索引擎... 阅读全文

posted @ 2015-06-19 05:27 刺猬的温驯阅读(610) 评论(0) 推荐(0)

搜索引擎网页排序算法

摘要： 2.1基于词频统计——词位置加权的搜索引擎利用关键词在文档中出现的频率和位置排序是搜索引擎最早期排序的主要思想，其技术发展也最为成熟，是第一阶段搜索引擎的主要排序技术，应用非常广泛，至今仍是许多搜索引擎的核心排序技术。其基本原理是：关键词在文档中词频越高，出现的位置越重要，则被认为和检索词的相关性越... 阅读全文

posted @ 2015-06-19 05:20 刺猬的温驯阅读(1328) 评论(0) 推荐(0)

搜索引擎三个定律

摘要：第一定律相关性定律听起来象是一篇学术论文，的确，就连第一，第二定律的提法以前也没有过，但是第一，第二定律的内容确早已在业界和学术界得到了公认。其实这第一定律是早在互联网出现之前就被学术界广泛研究过的，那就是所谓的相关性定律。这个领域那时叫情报检索，或信息检索，也有叫全文检索的。那时的相关性都是基... 阅读全文

posted @ 2015-06-19 05:07 刺猬的温驯阅读(422) 评论(0) 推荐(0)

搜索引擎分布式爬虫介绍

摘要：对于商业搜索引擎来说，分布式爬虫架构是必须采用的技术。面对海量待抓取网页，只有采取分布式架构，才有可能在较短时间内完成一轮抓取工作。分布式爬虫可以分为若千个分布式层级。不同的应用可能由其中部分层级构成，下图是一个大型分布式爬虫的3个层级:分布式数据中心、分布式抓取服务器及分布式爬虫程序。整个爬虫... 阅读全文

posted @ 2015-05-16 00:02 刺猬的温驯阅读(941) 评论(0) 推荐(0)

图灵测试，测的到底是什么？

摘要： 2014年6月7日发生了一件事情：聊天程序“尤金·古斯特曼”（Eugene Goostman）在英国皇家学会举行的2014图灵测试大会上冒充一个13岁乌克兰男孩而骗过了33%的评委，从而按照图灵当初的定义，“通过”了图灵测试。尤金的在线对话页面，不幸的是因为这一事件给服务器带来的压力，该网站已经几天... 阅读全文

posted @ 2015-05-14 01:01 刺猬的温驯阅读(2105) 评论(0) 推荐(0)

君子博学而日参省乎己则知明而行无过矣

公告

君子博学而日参省乎己 则知明而行无过矣

公告

君子博学而日参省乎己则知明而行无过矣