随笔分类 -  Python

python协程爬虫-aiohttp+aiomultiprocess使用
摘要：最近使用协程写了个爬虫，效果杠杠的啊，使用aiohttp替代requests发起请求，requests是同步的，会阻塞比较久，再加上aiomultiprocess，实现多进程异步协程，每个进程都单独的事件循环执行多个协程任务；这篇文章主要是记录下这两个库的使用 aiohttp aiohttp是基于a 阅读全文
posted @ 2020-02-25 23:03 Alummox 阅读(3204) 评论(0) 推荐(0)
python-协程、多线程、多进程性能比较
摘要：基本概念 进程：进程是一个具有独立功能的程序关于某个数据集合的一次运行活动。进程是操作系统动态执行的基本单元。 线程：一个进程中包含若干线程，当然至少有一个线程，线程可以利用进程所拥有的资源。线程是独立运行和独立调度的基本单元。 协程：协程是一种用户态的轻量级线程。协程无需线程上下文切换的开销，也无 阅读全文
posted @ 2020-02-18 23:08 Alummox 阅读(1611) 评论(0) 推荐(0)
functools模块-为函数预设args/kwargs参数
摘要：functools模块提供了某些高阶函数 常用的函数functools.partial 这个函数的作用其实就是预先设置目标函数的参数，args/kwargs都可以，下面演示下就知道了 import functools ​ def add(a, b=None): return a + b ​ if _ 阅读全文
posted @ 2020-02-18 22:34 Alummox 阅读(181) 评论(0) 推荐(0)
python-协程
摘要：Python由于众所周知的GIL的原因，导致其线程无法发挥多核的并行计算能力（当然，后来有了multiprocessing，可以实现多进程并行）。 既然在GIL之下，同一时刻只能有一个线程在运行，那么对于CPU密集的程序来说，一般选择使用进程；而以I/O为瓶颈的程序正是协程所擅长的 基本概念 并发： 阅读全文
posted @ 2020-02-18 22:12 Alummox 阅读(305) 评论(0) 推荐(0)
Python 输出百分比
摘要：注：python3环境试验 0x00 使用参数格式化{:2%} {:.2%}： 显示小数点后2位 {:.0%}： 不显示小数点 0x01 格式化为float {:.2f}%：显示小数点后2位 {:.0f}%： 不显示小数点 0x02 补充说明 { } 的意思是对应format()的一个参数，按默认顺 阅读全文
posted @ 2018-09-14 21:12 Alummox 阅读(748) 评论(0) 推荐(0)
Python 进度条
摘要：我这里说明两种方式的进度条 0x00 使用 \r 做输出结尾 先看个例子 上面例子关键点是输出字符串的结尾是回车符\r，就因为这个才能在原地更新进度 知识补充： \n是换行，英文是New line \r是回车，英文是Carriage return 机械打字机有回车和换行两个键作用分别是: 1、换行就 阅读全文
posted @ 2018-09-14 20:59 Alummox 阅读(339) 评论(0) 推荐(0)
Anaconda3安装及使用
摘要：一、安装及环境变量配置 1、从这里下载Anaconda 2、根据提示安装即可 3、配置环境变量：%Anaconda%\Script 打开命令行，输入：conda --version，回显版本即完成安装 二、Anaconda常用命令 conda管理工具可以同时安装不同版本的python，并且自由的进行 阅读全文
posted @ 2017-11-23 21:58 Alummox 阅读(17389) 评论(0) 推荐(0)
python标准日志模块logging及日志系统设计
摘要：转载：http://www.cnblogs.com/goodhacker/p/3355660.html python的标准库里的日志系统从Python2.3开始支持。只要import logging这个模块即可使用。如果你想开发一个日志系统， 既要把日志输出到控制台， 还要写入日志文件，只要这样使用 阅读全文
posted @ 2017-09-02 10:52 Alummox 阅读(454) 评论(0) 推荐(0)
python traceback捕获并打印异常
摘要：异常处理是日常操作了，但是有时候不能只能打印我们处理的结果，还需要将我们的异常打印出来，这样更直观的显示错误 下面来介绍traceback模块来进行处理 输出结果是integer division or modulo by zero，只知道是报了这个错，但是却不知道在哪个文件哪个函数哪一行报的错。 阅读全文
posted @ 2017-09-01 21:48 Alummox 阅读(44806) 评论(0) 推荐(2)
python time
摘要：import time #time.time() 获取时间戳 print time.time() #将时间戳转成元组 #time.localtime() now_time_1 = time.localtime(time.time()) print now_time_1 #time.strptime(time_str, 格式) 格式匹配字符串的时间格式 now_time_2 = time.st... 阅读全文
posted @ 2017-09-01 21:01 Alummox 阅读(179) 评论(0) 推荐(0)
PIL 中的 Image 模块
摘要：转载：http://www.cnblogs.com/way_testlife/archive/2011/04/20/2022997.html PIL 中的 Image 模块 本文是节选自 PIL handbook online 并做了一些简单的翻译 只能保证自己看懂，不保证翻译质量。欢迎各位给出意见 阅读全文
posted @ 2017-08-27 10:37 Alummox 阅读(1033) 评论(0) 推荐(0)
python zipfile使用
摘要：the Python challenge中第6关使用到zipfile模块，于是记录下zipfile的使用 zip日常使用只要是压缩跟解压操作，于是从这里入手 1、压缩 f=zipfile.ZipFile(file, mode="r", compression=ZIP_STORED, allowZip 阅读全文
posted @ 2017-08-22 23:36 Alummox 阅读(23476) 评论(0) 推荐(0)
urllib urllib2学习笔记
摘要：Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显着的差异如下： urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串等。 urll 阅读全文
posted @ 2017-08-14 22:49 Alummox 阅读(402) 评论(0) 推荐(0)
The Python Challenge 闯关笔记
摘要：The Python Challenge : http://www.pythonchallenge.com/ Level 0： 看提示图片中为2**38，计算值为274877906944。 Hint: try to change the URL address. 下一关地址：http://www.p 阅读全文
posted @ 2017-08-08 22:28 Alummox 阅读(5047) 评论(0) 推荐(0)
python unittest
摘要：1、setUp() 和 tearDown() 允许执行每个测试用例前分别初始化和清理测试环境，用法如下： 被测代码 myCode.py： unittest代码： 2、unittest 提供了丰富的命令行入口，可以根据需要执行某些特定的用例。有了命令行的支持 执行 testdemo.py 文件所有的测 阅读全文
posted @ 2017-07-28 22:34 Alummox 阅读(200) 评论(0) 推荐(0)
Python excel读写
摘要：1 # coding=utf-8 2 3 print "----------------分割线 xlrd--------------------" 4 import xlrd 5 #打开一个wordbook 6 book = xlrd.open_workbook("excel_1.xls") 7 8 worksheets = book.sheet_names(... 阅读全文
posted @ 2017-07-26 22:31 Alummox 阅读(527) 评论(0) 推荐(0)