摘要:[TOC] 简介 aiohttp需要python3.5.3以及更高的版本,它不但能做客户端爬虫,也能做服务器端,利用asyncio,协程,十分高效 "官方文档" 采集模板 一批,一次性采集 动态添加任务 动态添加任务,封装成类 阅读全文
posted @ 2019-03-28 15:34 happy_codes 阅读(458) 评论(0) 推荐(0) 编辑
摘要:线程池,进程池 python的多线程并不是完全鸡肋的存在,得分情况来看。在IO密集型任务下,能提高多倍效率。在CPU密集型任务下,使用多进程也能规避GIL锁。 python3标准库 比原Thread封装更高,多线程 ,多进程 利用 来进行各种便捷的数据交互,包括处理异常,都在result()中再次抛 阅读全文
posted @ 2019-03-28 13:54 happy_codes 阅读(3452) 评论(0) 推荐(0) 编辑
摘要:[TOC] 简介 python写的程序多了,发现很多方法,很多小工具可以复用,记录起来,做成目录,或者直接贴代码 一、python内置 单例模式 日志模块(Logging) "Logging" 装饰器 计时装饰器 上下文管理器(Context Managers) "上下文管理器" 多线程 "Thre 阅读全文
posted @ 2019-03-28 11:38 happy_codes 阅读(285) 评论(0) 推荐(0) 编辑
摘要:安装docker docker拉取redis镜像 docker pull redis 运行redis docker run -d --name redis-server -p 6379:6379 redis --requirepass "xxxxxx" --appendonly yes --name 阅读全文
posted @ 2019-03-28 09:53 happy_codes 阅读(199) 评论(0) 推荐(0) 编辑