文章分类 -  Spider_Periphery

request增加重试次数与超时时间
摘要：request增加重试次数与超时时间 阅读全文
posted @ 2019-02-15 17:02 争-渡 阅读(1111) 评论(0) 推荐(0)
Python与CSV文件（CSV模块）
摘要：1、CSV文件 CSV（逗号分隔值）格式是电子表格和数据库最常用的导入和导出格式。没有“CSV标准”，因此格式由许多读写的应用程序在操作上定义。缺乏标准意味着不同应用程序生成和使用的数据中通常存在细微差别。这些差异会使处理来自多个源的CSV文件变得很烦人。尽管如此，虽然分隔符和引用字符各不相同，但总 阅读全文
posted @ 2018-08-24 00:09 争-渡 阅读(2733) 评论(1) 推荐(0)
http请求库(httplib模块)
摘要：httplib模块 1、简介 httplib是用于http请求的库。它主要由HTTPMessage，HTTPResponse，HTTPConnection，HTTPSConnection四个类组成。HTTPMessage表示http头部，HTTPResponse表示http响应，HTTPConnec 阅读全文
posted @ 2018-08-19 19:55 争-渡 阅读(2843) 评论(0) 推荐(0)
urlparse模块
摘要：1、urlparse模块 Urlparse是简单而强大的url解析工具 2、python2与python3区别 python2.0 python3.0 python3中urlparse模块和urllib模块合并，urlparse()在urllib.parse中进行调用。 3、使用 urlparse( 阅读全文
posted @ 2018-08-19 17:55 争-渡 阅读(255) 评论(0) 推荐(0)
Mac安装及配置PhantomJS
摘要：1、下载 点击这里 ps：选择mac版本下载 2、下载完成后，解压缩，然后放到自己的一个目录下面 3、设置环境变量 添加： 然后 报错退出（按住esc按钮，输入 [ :wq ]，回车） 4、验证 输入phantomjs 返回: 阅读全文
posted @ 2018-08-13 22:52 争-渡 阅读(435) 评论(0) 推荐(0)
Selenium模块将不再支持PhantomJS
摘要：引子： 近期玩爬虫在安装模块与脚本测试使用时，发现一个发问题（下方代码） 不算错误的错误 PhantomJS已经不再被支持，建议使用无头版Chrome或Firefox？？？？？ 虽然还能用，但是这提示很不爽，后研究了一下无头版的Chrome下放代码。 阅读全文
posted @ 2018-05-15 08:37 争-渡 阅读(944) 评论(0) 推荐(0)
selenium模块打开Chrome浏览器报WinError 10054
摘要：WinError 10054： 错误背景 在安装完selenium模块并下载好chromedriver做好环境变量的情况下运行测试一下代码(为的是使用模块驱动浏览器打开特定网页) 错误原因 此次运行报[WinError 10054]原因为Chrome浏览器与chromedriver的版本不符，而导致 阅读全文
posted @ 2018-05-11 16:31 争-渡 阅读(619) 评论(0) 推荐(0)