2018年3月26日
python BeautifulSoup库用法总结
摘要： 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的 阅读全文
posted @ 2018-03-26 18:36 张老师的小黑屋 阅读(45239) 评论(2) 推荐(4)
python线程池（threadpool）
摘要： 一、安装 pip install threadpool 二、使用介绍 （1）引入threadpool模块 （2）定义线程函数 （3）创建线程 池threadpool.ThreadPool() （4）创建需要线程池处理的任务即threadpool.makeRequests() （5）将创建的多个任务p 阅读全文
posted @ 2018-03-26 16:14 张老师的小黑屋 阅读(47896) 评论(1) 推荐(2)
python爬虫系列：做一个简单的动态代理池
摘要： 自动 1、设置动态的user agent 2、设置代理池 阅读全文
posted @ 2018-03-26 10:44 张老师的小黑屋 阅读(614) 评论(0) 推荐(0)