随笔列表第2页 - happy_codes

2019年3月28日

摘要：线程池，进程池 python的多线程并不是完全鸡肋的存在，得分情况来看。在IO密集型任务下，能提高多倍效率。在CPU密集型任务下，使用多进程也能规避GIL锁。 python3标准库比原Thread封装更高，多线程，多进程利用来进行各种便捷的数据交互，包括处理异常，都在result()中再次抛阅读全文

posted @ 2019-03-28 13:54 happy_codes 阅读(6205) 评论(0) 推荐(0) 编辑

学习笔记目录

摘要： [TOC] 简介 python写的程序多了，发现很多方法，很多小工具可以复用，记录起来,做成目录，或者直接贴代码一、python内置单例模式日志模块(Logging) "Logging" 装饰器计时装饰器上下文管理器(Context Managers) "上下文管理器" 多线程 "Thre 阅读全文

posted @ 2019-03-28 11:38 happy_codes 阅读(368) 评论(0) 推荐(0) 编辑

docker-redis笔记

摘要：安装docker docker拉取redis镜像 docker pull redis 运行redis docker run -d --name redis-server -p 6379:6379 redis --requirepass "xxxxxx" --appendonly yes --name 阅读全文

posted @ 2019-03-28 09:53 happy_codes 阅读(265) 评论(0) 推荐(0) 编辑

2019年3月18日

selenium + chrome 被检测，反反爬小记

摘要： selenium + chrome 很多难以采集的网站都使用selenium爬取，但是后来发现selenium有特征值，会被检测出来，今天来小结一下反反爬方案测试网站全绿好像代表没被检测出中间人修改js 网上很多都是这种博客，不知道靠不靠谱 pyppeteer 这种python的异步请求库，似阅读全文

posted @ 2019-03-18 15:57 happy_codes 阅读(5871) 评论(1) 推荐(1) 编辑

2019年3月12日

深入理解协程

摘要：学习于 "理解协程原理" "协程的使用" 阅读全文

posted @ 2019-03-12 17:47 happy_codes 阅读(159) 评论(0) 推荐(0) 编辑

2019年3月8日

docker-compose 部署 selenium-grid

摘要：上篇：详细介绍selenium-grid 一、安装Docker 必须要使用docker-ce版(注意)，不要装错，装错了卸载并换源，ubuntu和Centos7不一样，就不细说了，官方教程二、安装Docker-Compose库环境需要python2.7或python3其余版本没试过 CentO 阅读全文

posted @ 2019-03-08 17:37 happy_codes 阅读(1100) 评论(0) 推荐(0) 编辑

2019年2月28日

python3 + selenium + (chrome and firefox)使用

摘要： [TOC] 瞎扯一句最近在做一个关于 selenium 相关的项目，在选择浏览器方面，一般有3种方案： 1. chrome 2. phantomJs 3. firefox(推荐) 网上有很多教程是关于PhantomJS的，可是，在2018.3.4日，git开源项目上，ariya宣布暂停更新，具体时阅读全文

posted @ 2019-02-28 15:05 happy_codes 阅读(887) 评论(0) 推荐(0) 编辑

2019年2月20日

ubuntu安装Docker并部署selenium-grid

摘要：一、docker安装 Ubuntu 1.检查内核版本大于3.10 unama -a 2.更新apt源 sudo apt-get update 3.安装docker sudo apt-get install -y docker.io 4.(建议)更新成国内源为了永久性保留更改，您可以修改 /etc/ 阅读全文

posted @ 2019-02-20 16:27 happy_codes 阅读(911) 评论(0) 推荐(0) 编辑

2019年2月14日

通过pymysql程序debug学习数据库事务、隔离级别

摘要：问题今天在使用pymysql连数据库的时候，出现了一个bug，查询数据库某个数据，但是在我在数据库中执行sql语句改变数据后，pymsql的查询依然没有发生改变。代码如下: 解决问题首先，我们还是找出问题原因，并解决它，查阅相关文档后可知，因为我们的查询语句执行后，没有，这会导致查询事务没有阅读全文

posted @ 2019-02-14 15:51 happy_codes 阅读(616) 评论(0) 推荐(0) 编辑

2019年1月30日

python3-requests库的使用

摘要：同步请求库requests用来做测试和简单爬虫其实非常好用的，今天来讲一讲，毕竟不熟悉就用，吃了很大亏啊，文档一定要好好看 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 一、最简单常用的用法 GET请求 POST请阅读全文

posted @ 2019-01-30 10:21 happy_codes 阅读(258) 评论(0) 推荐(0) 编辑

2019年1月29日

windows同时安装python3和python2

摘要：一、下载，安装python3和python2 地址：https://www.python.org/downloads/windows/ 可以点选latest：2.7和3.7 1.下载安装python3 下载完msi文件后，安装，python3可以，点击勾选 add python3.6 to path 阅读全文

posted @ 2019-01-29 15:25 happy_codes 阅读(215) 评论(0) 推荐(0) 编辑

2019年1月23日

Scrapy使用详细记录

摘要：这几天，又用到了scrapy框架写爬虫，感觉忘得差不多了，虽然保存了书签，但有些东西，还是多写写才好啊首先，官方而经典的的开发手册那是需要的： https://doc.scrapy.org/en/latest/intro/tutorial.html 一、创建项目命令行cd到合适的目录：就新建了阅读全文

posted @ 2019-01-23 14:45 happy_codes 阅读(952) 评论(0) 推荐(0) 编辑

2019年1月20日

Docker的基本使用(部署python项目)

摘要：今天开始利用docker来部署项目，当然，首先，需要安装好Docker，这个在我的上篇写了。一、准备项目我写的是一个爬取某ppt网站的代码，就一个ppt1.py是爬虫，然后，ppts是存放下载的ppt的二、准备requirement.txt文件这个是需要哪些python库支持，写好三、准备阅读全文

posted @ 2019-01-20 21:01 happy_codes 阅读(14539) 评论(3) 推荐(0) 编辑

2019年1月16日

Docker的初体验

摘要：这几天捣鼓了一下docker，是真的麻烦啊，网上资料比较杂乱，也很多英文，学起来挺多问题的 Docker下载 win10专业版：开启Hyper-V，下载并安装 docker-for-windows(但是我的电脑用这个装一直有问题。。。) 在控制面板->程序->启用或关闭Windows功能，在弹出框阅读全文

posted @ 2019-01-16 22:07 happy_codes 阅读(1034) 评论(0) 推荐(0) 编辑

2019年1月6日

记第一次破解js加密代码

摘要：首先，我要爬的是这个网站:http://www.66ip.cn/nm.html，我想做个直接调用网站的接口获取代理的爬虫这个接口看上去似乎很简单，直接输入需要的代理条件后，点击提取即可点击提取后就是一个个ip了，废话不多说，按f12点开，发现需要两个cookie值，不知道从哪来，删掉cook 阅读全文

posted @ 2019-01-06 00:10 happy_codes 阅读(3092) 评论(0) 推荐(0) 编辑

2019年1月4日

学习爬虫的感想和心得

摘要：写爬虫真不是件简单的事学习了大概两个月的爬虫，渐渐感觉到写爬虫并不是件简单的事，有诸多的考虑，先简单的记录一下，有时间分部分做示例一、学习爬虫知识我是从python3开始做爬虫的，首先，python3的语法必须知道，不过python3并不难，语法也非常简洁。但是，写着发现有个毛病，就是比如一个阅读全文

posted @ 2019-01-04 13:20 happy_codes 阅读(18233) 评论(0) 推荐(0) 编辑

2018年12月16日

[转]python-元类

摘要：转载于：刘羽冲两句话掌握python最难知识点——元类千万不要被所谓“元类是99%的python程序员不会用到的特性”这类的说辞吓住。因为每个中国人，都是天生的元类使用者学懂元类，你只需要知道两句话：道生一，一生二，二生三，三生万物我是谁？我从哪来里？我要到哪里去？在python世界，拥阅读全文

posted @ 2018-12-16 16:06 happy_codes 阅读(206) 评论(0) 推荐(0) 编辑

2018年12月3日

python if x:

摘要：结果阅读全文

posted @ 2018-12-03 10:58 happy_codes 阅读(445) 评论(0) 推荐(0) 编辑

2018年11月30日

Scrapy命令和备注

摘要： Scrapy命令和备注 1.创建一个新项目(命令行) project是项目名 2.调试项目(pycharm) 在pycharm中新建cmdline.py 加断点，debug运行即可 3.暂停和重启项目(命令行) spidername是爬虫的名字 JOB_DIR是写在项目的settings.py中的阅读全文

posted @ 2018-11-30 15:44 happy_codes 阅读(159) 评论(0) 推荐(0) 编辑

2018年10月14日

表达式求值(java)

摘要：今天去面试，考了这个，短时间没想出来。。。太笨了！后来想用栈和递归做但是看了网上才知道，可以将中缀表达式转为后缀表达式，就极其方便了。 import java.util.Scanner; import java.util.Stack; public class ExpressionCalc { 阅读全文

posted @ 2018-10-14 21:36 happy_codes 阅读(2376) 评论(0) 推荐(0) 编辑

happy_code

公告