摘要:
正向代理: 所谓正向代理就是顺着请求的方向进行的代理,即代理服务器他是由你配置为你服务,去请求目标服务器地址。 比如我们要去访问谷歌网站,我们直接访问不通,那么我们就可以找一个代理服务器为我们服务,我们通过代理服务器请求到谷歌网站。对于谷歌而言他只知道有一个服务器访问了自己,并不知道这件事你是访问不 阅读全文
摘要:
一、什么是爬虫 向网站发送http请求,就会拿回一些页面/jason格式的数据(request)处理数据,解析出需要的数据(惹,bs4)存储(mysql,文件,cvs,redis,es,mongodb)分析爬虫分类1.通用爬虫:要求爬取一整张页面源码数据2.聚焦爬虫:要求爬取一张页面中的局部的数据( 阅读全文