摘要：
retrying模块的学习 我们在写爬虫的过程中，经常遇到爬取失败的情况，这个时候我们一般会通过try块去进行重试，但是每次都写那么一堆try块，真的是太麻烦，所以今天就来说一个比较pythonic的模块，retrying. 安装 retring模块的安装很简单直接用匹配安装即可。 使用 retri 阅读全文
posted @ 2018-10-11 20:01
公众号python学习开发
阅读(2502)
评论(0)
推荐(0)
摘要：
import click # click.option 中的命令规则可参考参数名称。它接受的前两个参数为长、短选项（顺序随意），其中： # # 长选项以 “--” 开头，比如 “--string-to-echo” # 短选项以 “-” 开头，比如 “-s” @click.group() def ma 阅读全文
posted @ 2018-10-10 16:11
公众号python学习开发
阅读(693)
评论(0)
推荐(0)
摘要：
用批量写入代替单个写入 最开始，我的代码逻辑是这样的： for uid, data in user_dict.items(): user_collection.insert_one({'uid':uid, 'user_data': data}) 这种方法在数据量较小时可以很好的工作，但是当数据量非常 阅读全文
posted @ 2018-10-10 15:31
公众号python学习开发
阅读(2518)
评论(0)
推荐(0)
摘要：
最近正在学习MongoDB，作为数据库的学习当然是要从CRUD开始学起了。这篇文章默认读者是知道如何安装MongoDB、如何运行MongoDB实例以及了解了MongoDB中的collection、document等相关的概念。 网上对于MongoDB的增删改查操作的文章不少。但是不少都是旧版本的操作 阅读全文
posted @ 2018-10-10 15:28
公众号python学习开发
阅读(4289)
评论(0)
推荐(0)
摘要：
I'm currently using Once #2924 is fixed and released, you can upgrade again to the latest and greatest. 阅读全文
posted @ 2018-10-10 11:20
公众号python学习开发
阅读(1327)
评论(0)
推荐(0)
摘要：
mitmdump --ignore-hosts ".*443$" -s test.py 阅读全文
posted @ 2018-10-09 17:41
公众号python学习开发
阅读(833)
评论(0)
推荐(0)
摘要：
# -*- coding: utf-8 -*- # @Time : 2018/10/8 11:00 # @Author : cxa # @File : test.py # @Software: PyCharmctx from appium import webdriver from selenium.webdriver.support.ui import WebDriverWait... 阅读全文
posted @ 2018-10-09 15:11
公众号python学习开发
阅读(537)
评论(0)
推荐(0)
摘要：
原因 App页面已经被禁止截屏，禁用用户截屏的代码如下： 解决 但是通过app source还是可以看到的 或者执行代码，进入该页面，通过String source = driver.getPageSource();获取该页面的dom，通过dom找到需要定位的元素。 阅读全文
posted @ 2018-10-09 14:42
公众号python学习开发
阅读(1502)
评论(0)
推荐(0)
摘要：
在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫') 在pipeline和downloaderMiddlewares里 spider.crawler.engine.close_spider(spider, '没 阅读全文
posted @ 2018-10-09 09:28
公众号python学习开发
阅读(2030)
评论(0)
推荐(1)
摘要：
链接：http://www.2cto.com/os/201410/341079.html 7z指令 7z是7zip压缩工具的常用压缩文件格式。7zip是一个开源的压缩工具，软件本身十分小巧，功能强大，是目前公认的压缩比最大的压缩解压缩软件，近年来开始渐渐流行。 7zip支持众多的压缩格式，支持7z, 阅读全文
posted @ 2018-10-08 23:51
公众号python学习开发
阅读(2844)
评论(0)
推荐(0)
浙公网安备 33010602011771号