niansi - 博客园

python 协程学习

摘要：协程协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此：协程能保留上一次调用时的状态（即所有局部状态的一个特阅读全文

posted @ 2017-09-24 22:20 niansi 阅读(161) 评论(0) 推荐(0)

使用sh库执行shell命令

摘要： python中执行shell命令之前执行shell命令多是通过os.system(shell命令)的方式来执行，比较麻烦。了解到sh是一个比subprocess好的库，能够执行shell命令 1.查看ip: [root@iZj6cbstl2n6r280a27eppZ myblog]# ifcon 阅读全文

posted @ 2017-09-18 08:48 niansi 阅读(828) 评论(0) 推荐(0)

多线程发送请求方式对比

摘要：在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1. 同步执行import requests def fetch_async(url): response = requests.get(url) return response url 阅读全文

posted @ 2017-09-10 21:48 niansi 阅读(374) 评论(0) 推荐(0)

删除大文件中的一行内容

摘要：用 python 处理一个文本文件时，如果想要删除其中的某一行，常规的思路是先把文件读入内存，在内存中修改后再写入源文件。这对于小文件来说当然没问题，但是如果要处理一个很大的文本，比如GB级别的文本时，这种方法不仅需要占用很大内存，而且一次性读入内存时耗费时间，还有可能导致内存溢出。所以，需要用阅读全文

posted @ 2017-09-03 18:10 niansi 阅读(624) 评论(0) 推荐(0)

python多线程理解

摘要：在发送网络请求的过程中，单个请求的速度总是有着很大的限制，而任务往往需要以更快的速度去执行，这时多线程就是一个很好地选择。python已经给我们封装好了多线程库thread和threading。 thread:比较底层的模块 threading：Higher-level threading inte 阅读全文

posted @ 2017-08-27 21:33 niansi 阅读(205) 评论(0) 推荐(0)

python 深浅拷贝小记

摘要：浅拷贝：只拷贝第一层的数据深拷贝：相当于克隆一份，也就是完全复制，和被克隆对象完全没关系。浅拷贝示例：先定义一个列表 >>> s = [1,'alex','alvin'] >>> s2 = copy.copy(s) 使用copy()方法拷贝，创建一个新的对象s2 >>> print s2 拷贝阅读全文

posted @ 2017-08-21 14:39 niansi 阅读(126) 评论(0) 推荐(0)

python单元测试-unittest

摘要： python内部自带了一个单元测试的模块，pyUnit也就是我们说的：unittest 1、介绍下unittest的基本使用方法： 1）import unittest 2）定义一个继承自unittest.TestCase的测试用例类 3）定义setUp和tearDown，在每个测试用例前后做一些辅助阅读全文

posted @ 2017-08-12 20:59 niansi 阅读(187) 评论(0) 推荐(0)

subprocess模块使用

摘要： subprocess 模块一、简介 subprocess最早在2.4版本引入。用来生成子进程，并可以通过管道连接他们的输入/输出/错误，以及获得他们的返回值。 subprocess用来替换多个旧模块和函数： os.systemos.spawn*os.popen*popen2.*commands.* 阅读全文

posted @ 2017-08-06 16:18 niansi 阅读(294) 评论(0) 推荐(0)

py2exe打包python脚本

摘要：在工作中遇到将python脚本转换成exe可执行程序的需求，通过查询可以使用py2exe来构建满足要求的程序，这里简要说明一下使用步骤。一、py2exe是一个将python脚本转换成windows上的可独立执行的可执行程序(*.exe)的工具，这样，你就可以不用装python而在windows系统阅读全文

posted @ 2017-07-30 23:47 niansi 阅读(1396) 评论(0) 推荐(0)

Json与JsonPath

摘要： JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，因为它良好的可读性与易于机器进行解析和生成等特性，在当前的数据整理和收集中得到了广泛的应用。 JSON和XML相比较可谓不相上下。 Python 2.X中自带了JSON模块，直接import json就可以使阅读全文

posted @ 2017-07-23 19:52 niansi 阅读(306) 评论(0) 推荐(0)