2018年12月19日

摘要： google图片抓取 google图片是base64加密的,而且base64后的信息放在script信息里面 阅读全文

摘要： cfda数据抓取 1.网站数据是加密的,需要浏览器进行数据解析 2.网址url有js加密 3.PhantomJS无法解析数据, chrome无法获取数据,所有最终选择用Firefox浏览器 阅读全文

摘要： 测ip地址http://2018.ip138.com/ic.asphttps://www.ip.cn/ 阅读全文

摘要： 1.unicode_escape转中文 print("\u6d77\u5916".encode("unicode_escape").decode("unicode_escape")) 2.忽略部分编码错误 decode('gb2312', 'ignore') odec can't decode by 阅读全文

摘要： 启动docker docker run 启动容器--name=bt5 取个名字-d 后台启动--net 选择容器的网络类型host 使用本地网络-v 挂载卷/data1/home/teng.li/dockerfiles 本地服务器目录路径/my_python 容器自动创建-w 指定工作目录/my_p 阅读全文

摘要： 1. 安装Scrapyd sudo pip3.6 install scrapyd # 安装scrapyd服务 sudo pip3.6 install scrapyd-client # 安装scrapyd客户端 1.1 修改default_scrapyd.conf文件 使外部能访问 vim /usr/ 阅读全文