随笔分类 -  python

selenium 反爬虫识别特征处理
摘要：因为业务中发现网站对selenium特征识别为爬虫了，因此在搜索引擎中搜索进行处理 方式一 # 实例化一个浏览器对象 options = webdriver.ChromeOptions() options.add_experimental_option('excludeSwitches', ['en 阅读全文
posted @ 2020-07-27 09:45 libaibuaidufu 阅读(1983) 评论(0) 推荐(1)
grpc 之 word2pdf使用
摘要：​ 做一个word转pdf的服务，采用grpc，使用libreoffice命令。 1.构建libreoffice镜像 FROM python:3.6 ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && 阅读全文
posted @ 2020-07-23 15:18 libaibuaidufu 阅读(365) 评论(0) 推荐(0)
使用queue 做一个分布式爬虫（一）
摘要：这个作为调配的 taskMaster.py !/usr/bin/env python coding: utf 8 @Time : 2018/12/23 15:21 @author : libaibuaidufu @File : taskMaster.py @Software: PyCharm imp 阅读全文
posted @ 2018-12-24 20:42 libaibuaidufu 阅读(328) 评论(0) 推荐(0)
python 结合redis 队列 做一个例子
摘要：结合redis 队列 做了一个例子 阅读全文
posted @ 2018-12-24 20:22 libaibuaidufu 阅读(393) 评论(0) 推荐(0)
python 中文乱码 list 乱码处理
摘要：list 乱码 mysql 获取中文乱码 设置charset='utf8' 阅读全文
posted @ 2018-12-24 11:24 libaibuaidufu 阅读(1265) 评论(0) 推荐(0)