摘要: # python线程模块的选择 #python提供了几个用于多线程编程的模块,包括thread、threading和Queue等。 # thread和threading模块允许程序员创建和管理线程。 # thread模块提供了基本的线程和锁的而支持,threading提供了更高级别、功能更强的线程管理功能 # Queue模块允许用户创建一个... 阅读全文
posted @ 2018-10-23 22:28 _小溢 阅读(122) 评论(0) 推荐(0)
摘要: # 使用进程池的进程爬取网页内容,使用回调函数处理数据,用到了正则表达式和re模块 import re from urllib.request import urlopen from multiprocessing import Pool def get_page(url,pattern): response=urlopen(url).read().decode('utf-8') ... 阅读全文
posted @ 2018-10-23 21:20 _小溢 阅读(171) 评论(0) 推荐(0)
摘要: 回调函数:一般应用在进程的任务有延时,而要处理的数据时间的很短时,将进程的任务和回调函数绑定起来,将任务获取到的数据返回给回调函数,由回调函数处理数据,回调函数是在主进程中得以执行的 阅读全文
posted @ 2018-10-23 21:00 _小溢 阅读(372) 评论(0) 推荐(0)
摘要: 1.使用requsets出现这个错误,ImportError: No module named 'chardet' 原因:requests依赖其他一些模块 解决:依次使用pip安装即可 pip install certifi pip install chardet pip install idna 阅读全文
posted @ 2018-10-23 20:34 _小溢 阅读(15316) 评论(0) 推荐(1)
摘要: 1.cmd上运行pip后,出现这个 Fatal error in launcher: Unable to create process using '"' 原因:计算机的环境变量中找不到python,找不到pip。肯定是之前装过很多个python版本造成的。 解决:path环境变量中python.e 阅读全文
posted @ 2018-10-23 20:19 _小溢 阅读(340) 评论(0) 推荐(0)