摘要：1、双引号（“”）。完全匹配搜索，即搜索的页面中包含双引号中出现的所有的词； 2、减号（-）。代表搜索不包含减号后面词的页面，减号前面有空格，例如，新家 -坡； 3、intitle:关键字。返回页面Title中包含关键字的页面； 4、allintitle:关键字1 关键字2。返回页面标题中包含多组关 阅读全文

摘要：蜘蛛访问每一个网页时，都会访问网站目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取，搜索引擎将遵循规则。 每个搜索引擎蜘蛛都有自己的身份用户代理名称；为了爬取更多的页面，搜索引擎蜘蛛会跟踪页面上的链接，采用深度优先策略或广度优先策略进行逐级进行爬取； 阅读全文