什么是爬虫 伪装成浏览器与服务器进行数据交互的自动化程序 我找你要，你给我给
爬虫的分类 通用爬虫 聚焦爬虫
如何伪装？ User-Agent：产生请求的浏览器类型; referer：防盗链，页面跳转处，表明产生请求的网页来自于哪个URL，告诉服务器我是从哪个链接过来的 Host：请求的主机名，允许多个域名同处一个IP 地址，即虚拟主机; Cookie：存储于客户端扩展字段，向同一域名的服务端发送属于该域的cookie;
