【SEO三人行学习笔记】4 搜索引擎原理基础：预处理

网页预处理的大致过程：
1、关键词的提取（去除噪音：与页面主体无关的信息）
     搜索蜘蛛、机器人模拟工具：http://tool.chinaz.com/Tools/Robot.aspx?url=www.gamefk.com（取出网页里面搜索引擎认为有用的文字）
2、切词，（去除停止词：对网页无意义的，如：我们，你们，的……）
     HTTPCWS中文分词演示系统：http://blog.s135.com/demo/httpcws/
     一般标点符号会被切出来过滤掉
     关键词词频：关键词出现的次数
     关键词密度：某一个给定关键词出现的次数占所有被切出来的词语总数的比例
3、镜像网页的消除（完全相同）
     注：页面采用了伪静态之后需要用robots文件屏蔽掉动态页面
          转载（额外少量编辑，称为近似镜像网页）
          采集的文章很容易被认为是镜像网页
4、链接的分析（记录链接位置，相关性，锚文本）
     锚文本：在<a>标签中间的文字
     相关性：链接页面指向的页面是否与网页主题相关
     外链：外链就是指从别的网站导入到自己网站的链接
     网页重要度计算（被引用的多就是重要的）
5、建立索引
     正排索引：建立页面到关键词的关系
     倒排索引：建立关键词到页面的关系
     比较有效率的查询方式是从查询词来得到包含有该关键词的页面