2016年2月9日
NodeJs编写小爬虫
摘要： 一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服 阅读全文
posted @ 2016-02-09 01:03 jayruan 阅读(5320) 评论(2) 推荐(0)
meta
摘要： <meta name=”viewport” content=”width=device-width; initial-scale=1.0; maximum-scale=1.0; user-scalable=0;” /> <meta name=”format-detection” content=”t 阅读全文
posted @ 2016-02-09 01:01 jayruan 阅读(140) 评论(0) 推荐(0)