随笔分类 -  python

通过宝塔python项目管理器安装 pyspider
摘要：首先先安装宝塔，安装python项目管理器， 然后安装python3.6.8版本， /home/pyspider 目录下创建requirements.txt 内容如下： pycurl==7.43.0.3 --global-option="--with-nss" flask==1.1.4werkzeu 阅读全文
posted @ 2020-06-27 03:49 alpiny 阅读(506) 评论(0) 推荐(0)
win2003下安装python3.4 + pyspider
摘要：昨天尝试了在win2003下安装python2.7。这个是文章地址：https://www.cnblogs.com/alpiny/p/11706606.html 但是程序跑了一晚上，发现有一点问题，是因为我linux下跑的是python3.而win03跑的是2.7，兼容性上可能有些问题。 所以试一下 阅读全文
posted @ 2019-10-20 18:21 alpiny 阅读(449) 评论(0) 推荐(0)
记一次win 2003 折腾pyspider遇到问题（pycurl）
摘要：把解决过程记录下来，帮助自己，帮助他人。 针对pyspider。win2003我安装的是python2.7.*。听我的吧。这绝对是一个明智的选择。 结果pycurl死活安装不上，试了网上给的方法：去https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载 whl文 阅读全文
posted @ 2019-10-20 03:38 alpiny 阅读(175) 评论(0) 推荐(0)
pyspider爬网页出现中文乱码的解决办法
摘要：为什么会出现乱码呢？按照binux的说法 这就是 lxml 的蛋疼之处，给它 unicode 它有的时候它不认，给它 bytes 它又处理不好 方法1： 方法2： 方法3：（binux的方案） 方案3的好处是，不必知道源站编码，而直接由pyquery来接管。 阅读全文
posted @ 2019-04-26 12:56 alpiny 阅读(736) 评论(0) 推荐(0)
pyspider安装提示：got an unexpected keyword argument 'io_loop'的解决办法
摘要：此问题解决办法学习自pyspider的github的issues 原地址：https://github.com/binux/pyspider/issues/771 解决方法： 由于最新版的Tornado 5.0的写法和pyspider不兼容，所以要降级到4.5版本 大功告成。 这么简单的问题。。折腾 阅读全文
posted @ 2019-03-07 20:46 alpiny 阅读(865) 评论(0) 推荐(0)
pyspider+PhantomJS的代理设置
摘要：环境：pyspider0.3.9 PhantomJS2.1.1，均为最新版 进程用supervisor托管的。 其中需要加的几个地方： webui进程： processor进程： fetcher进程： phantomjs进程： 以上需要注意的是，webui、processor 、fetcher 都加 阅读全文
posted @ 2019-03-07 20:42 alpiny 阅读(956) 评论(0) 推荐(0)
python 验证码识别库pytesseract的使用
摘要：笔者环境 centos7 python3 pytesseract只是tesseract-ocr的一种实现接口。所以要先安装tesseract-ocr（大名鼎鼎的开源的OCR识别引擎）。 依赖安装 安装依赖的leptonica库 安装tesseract-ocr 安装语言包： 安装pytesseract 阅读全文
posted @ 2019-03-07 06:11 alpiny 阅读(1330) 评论(0) 推荐(0)