摘要: [TOC] 简介 python写的程序多了,发现很多方法,很多小工具可以复用,记录起来,做成目录,或者直接贴代码 一、python内置 单例模式 装饰器 计时装饰器 多线程 "ThreadPoolExecutor" 上下文管理器 "python上下文管理器" 二、数据库 redis "redis笔记阅读全文
posted @ 2019-03-28 11:38 happy_codes 阅读(50) 评论(0) 编辑
摘要: 简介 python的上下文管理器,是为了节省是打开某资源后,无论出现什么异常都要关闭的代码 , 可以简写为 协议 上下文管理器的协议包含 和`__exit__ __enter__ __exit__`方法。 基本使用 创建类,实现 和`__exit__ exc_type exc_val exc_tb`阅读全文
posted @ 2019-05-02 12:00 happy_codes 阅读(6) 评论(0) 编辑
摘要: [TOC] 简介 这个谷歌的识别项目早就听说了,使用之后发现,真的很厉害。写下初次简单使用的过程吧。 安装tesseract "谷歌的开源识别项目" 我下了这两个,chi是扩展的识别中文需要,只安装.exe即可,然后配置环境变量 chi_sim.traineddata tesseract ocr w阅读全文
posted @ 2019-04-25 17:18 happy_codes 阅读(17) 评论(0) 编辑
摘要: 简介 docker容器打日志时间滞后8小时 方法 启动时修改时区 "Docker修改默认时区" 已启动的容器修改时区 进入容器 然后 或者 最后确认一下: `date R`阅读全文
posted @ 2019-04-19 10:33 happy_codes 阅读(6) 评论(0) 编辑
摘要: 简介 就是普通的阅读全文
posted @ 2019-04-16 14:24 happy_codes 阅读(40) 评论(0) 编辑
摘要: 问题简介 我写爬虫,用到了asyncio相关的事件循环,新建了一个线程去 ,在docker中运行。后来程序有异常,主线程挂了,但是竟然不报错。查了很久,才找出来。 如果你新建一个线程去运行一般的死循环,主线程出错退出,是会报错的,虽然子线程还会继续运行。 如果你新建一个线程去运行 ,主线程出异常退出阅读全文
posted @ 2019-04-16 13:44 happy_codes 阅读(25) 评论(0) 编辑
摘要: 简介 今天遇到需要裁剪base64字符串的PNG图片,并返回base64格式字符串的任务,捣鼓半天。 裁剪代码如下: 如果需要保存阅读全文
posted @ 2019-04-11 17:29 happy_codes 阅读(15) 评论(0) 编辑
摘要: 简介 今天在写python程序的时候,遇到了编码问题,今天,我准备好好了解一下编码问题 ASCII编码 计算机是美国人发明的,最初只有不超过256字符需要编码,1字节能编码2 8个,所以ASCII编码就是这么来的。现在的键盘,不用输入法能打出来的字符,都在ASCII码表里。 其他编码 后来,计算机逐阅读全文
posted @ 2019-04-02 14:42 happy_codes 阅读(11) 评论(0) 编辑
摘要: [TOC] 简介 aiohttp需要python3.5.3以及更高的版本,它不但能做客户端爬虫,也能做服务器端,利用asyncio,协程,十分高效 "官方文档" 采集模板 一批,一次性采集 动态添加任务 动态添加任务,封装成类阅读全文
posted @ 2019-03-28 15:34 happy_codes 阅读(23) 评论(0) 编辑
摘要: 线程池,进程池 python的多线程并不是完全鸡肋的存在,得分情况来看。在IO密集型任务下,能提高多倍效率。在CPU密集型任务下,使用多进程也能规避GIL锁。 python3标准库 比原Thread封装更高,多线程 ,多进程 利用 来进行各种便捷的数据交互,包括处理异常,都在result()中再次抛阅读全文
posted @ 2019-03-28 13:54 happy_codes 阅读(48) 评论(0) 编辑
摘要: [TOC] 简介 python写的程序多了,发现很多方法,很多小工具可以复用,记录起来,做成目录,或者直接贴代码 一、python内置 单例模式 装饰器 计时装饰器 多线程 "ThreadPoolExecutor" 上下文管理器 "python上下文管理器" 二、数据库 redis "redis笔记阅读全文
posted @ 2019-03-28 11:38 happy_codes 阅读(50) 评论(0) 编辑
摘要: 安装docker docker拉取redis镜像 运行redis 取容器名 指定端口 指定密码 持久化配置 使用dockerfile配置 有时间更dockerfile,docker compose 配置,这个是官方的说明,可以指定redis的配置文件 使用docker compose配置 docke阅读全文
posted @ 2019-03-28 09:53 happy_codes 阅读(24) 评论(0) 编辑
摘要: selenium + chrome 很多难以采集的网站都使用selenium爬取,但是后来发现 有特征值,会被检测出来,今天来小结一下反反爬方案 "测试网站" 全绿好像代表没被检测出 中间人修改js 网上很多都是这种博客,不知道靠不靠谱 pyppeteer 这种python的异步请求库,似乎极好的解阅读全文
posted @ 2019-03-18 15:57 happy_codes 阅读(316) 评论(0) 编辑
摘要: 学习于 "理解协程原理" "协程的使用"阅读全文
posted @ 2019-03-12 17:47 happy_codes 阅读(9) 评论(0) 编辑
摘要: [TOC] "上篇:详细介绍selenium grid" 一、安装Docker 必须要使用 版(注意),不要装错,装错了卸载并换源,ubuntu和Centos7不一样,就不细说了, "官方教程" 二、安装Docker Compose库 环境 需要 或 其余版本没试过 CentOS7 先装 ,再装 U阅读全文
posted @ 2019-03-08 17:37 happy_codes 阅读(51) 评论(0) 编辑
摘要: [TOC] 瞎扯一句 最近在做一个关于 selenium 相关的项目,在选择浏览器方面,一般有3种方案: 1. chrome 2. phantomJs 3. firefox(推荐) 网上有很多教程是关于PhantomJS的,可是,在2018.3.4日,git开源项目上,ariya宣布暂停更新,具体时阅读全文
posted @ 2019-02-28 15:05 happy_codes 阅读(67) 评论(0) 编辑
摘要: [TOC] 一、docker安装 Ubuntu 1.检查内核版本大于3.10 2.更新apt源 3.安装docker 4.(建议)更新成国内源 为了永久性保留更改,您可以修改 /etc/docker/daemon.json 文件并添加上 registry mirrors 键值。 修改保存后重启 Do阅读全文
posted @ 2019-02-20 16:27 happy_codes 阅读(58) 评论(0) 编辑
摘要: 问题 今天在使用pymysql连数据库的时候,出现了一个bug,查询数据库某个数据,但是在我在数据库中执行sql语句改变数据后,pymsql的查询依然没有发生改变。 代码如下: 解决问题 首先,我们还是找出问题原因,并解决它,查阅相关文档后可知,因为我们的查询语句执行后,没有 ,这会导致查询事务没有阅读全文
posted @ 2019-02-14 15:51 happy_codes 阅读(17) 评论(0) 编辑
摘要: 同步请求库requests用来做测试和简单爬虫其实非常好用的,今天来讲一讲,毕竟不熟悉就用,吃了很大亏啊,文档一定要好好看 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 一、最简单常用的用法 GET请求 POST请阅读全文
posted @ 2019-01-30 10:21 happy_codes 阅读(20) 评论(0) 编辑
摘要: 一、下载,安装python3和python2 地址:https://www.python.org/downloads/windows/ 可以点选latest:2.7和3.7 1.下载安装python3 下载完msi文件后,安装,python3可以,点击勾选 add python3.6 to path阅读全文
posted @ 2019-01-29 15:25 happy_codes 阅读(14) 评论(0) 编辑
摘要: 这几天,又用到了scrapy框架写爬虫,感觉忘得差不多了,虽然保存了书签,但有些东西,还是多写写才好啊 首先,官方而经典的的开发手册那是需要的: https://doc.scrapy.org/en/latest/intro/tutorial.html 一、创建项目 命令行cd到合适的目录: 就新建了阅读全文
posted @ 2019-01-23 14:45 happy_codes 阅读(116) 评论(0) 编辑