009 爬虫相关

1、网络请求：request header:
------Accept：客户端支持的内容，如application/json、text/html；
User-Agent：客户端版本chrome；
Content-Type：请求数据格式如application/json；
referer：重定向地址；
Accept-Encoding：客户端支持的压缩算法，如gzip

2、提取数据（响应）：jsonpath/xpath 保存：本地（html、json、txt），数据库

3、robots协议:
robots协议是网站与爬虫间的约定，通过根目录下的robots.txt文件告诉搜索引擎哪些页面能抓取
核心指令有：
User-agent：指定规则适用的爬虫名字，*代表对所有爬虫生效。
Disallow：列出禁止抓取的路径，比如后台目录或敏感隐私文件。
Allow：与禁止相反，指定允许抓取的路径，优先级通常更高。
Crawl-delay：设置爬虫访问间隔时间，防止服务器过载。
Sitemap：可选项，告诉爬虫网站地图在哪里，方便收录。