随笔分类 -  爬虫

anyproxy规则文件
摘要：对于服务端渲染的，要解析html，安装cheerio npm init npm install cheerio --registry=http://registry.npm.taobao.org var fs = require('fs'); var cheerio = require('cheer 阅读全文
posted @ 2020-11-03 15:21 Virya 阅读(309) 评论(0) 推荐(0)
anyproxy centos安装
摘要：很多网站的反爬，对Linux做了拦截，建议使用Windows或Mac。 参考：https://blog.csdn.net/baidu_27032161/article/details/105529100 先安装node环境，命令行中输入npm，未找到的话，系统会提示安装。 # anyproxy in 阅读全文
posted @ 2020-10-30 17:43 Virya 阅读(412) 评论(0) 推荐(0)
anyproxy mac安装
摘要：官网：http://anyproxy.io/ 安装好node环境后，安装anyproxy，在命令行中运行 sudo npm install -g anyproxy 要代理https，还需生成CA证书并添加信任 anyproxy-ca detecting CA status... AnyProxy C 阅读全文
posted @ 2020-10-30 15:06 Virya 阅读(841) 评论(0) 推荐(0)
python mitmproxy 代理
摘要：详细文档：https://mitmproxy.readthedocs.io/en/v2.0.2/mitmdump.html 安装： sudo pip3 install mitmproxy 自定义解析规则 #!/usr/bin/python3 # -*- coding:UTF-8 -*- # mitm 阅读全文
posted @ 2020-10-30 09:55 Virya 阅读(920) 评论(0) 推荐(0)
python selenium click打开新窗口
摘要：a = browser.find_elements_by_xpath("//div[@class='xx']") a.click() 报错提示： Other element would receive the click 改为如下即可： browser.execute_script("argumen 阅读全文
posted @ 2020-10-14 10:29 Virya 阅读(3913) 评论(0) 推荐(0)
centos8 python+selenium环境搭建
摘要：安装CentOS 8桌面版 系统镜像名 CentOS-8.2.2004-x86_64-dvd1.iso 若无GUI，需安装 sudo dnf groupinstall "Server with GUI" 安装vnc-server sudo dnf install tigervnc-server -y 阅读全文
posted @ 2020-10-10 15:40 Virya 阅读(685) 评论(0) 推荐(0)