随笔分类 -  爬虫学习

摘要:性能相关 学习参考:http://www.cnblogs.com/wupeiqi/articles/6229292.html 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_asyn 阅读全文
posted @ 2018-09-14 23:32 小L小 阅读(546) 评论(0) 推荐(0)
摘要:1.url 2.views 3.html lgoin.html: index.html contact_list.html 阅读全文
posted @ 2018-09-14 10:46 小L小 阅读(866) 评论(0) 推荐(0)
摘要:BeautifulSoup是一个模块,该模块用于接收一个HTML或XML字符串,然后将其进行格式化,之后遍可以使用他提供的方法进行快速查找指定元素,从而使得在HTML或XML中查找指定元素变得简单。 可参考链接:https://cuiqingcai.com/1319.html 安装:pip3 ins 阅读全文
posted @ 2018-09-12 16:58 小L小 阅读(935) 评论(0) 推荐(0)
摘要:1、模块说明 requests是使用Apache2 licensed 许可证的HTTP库。 用python编写。 比urllib2模块更简洁。 Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。 阅读全文
posted @ 2018-09-12 14:54 小L小 阅读(285418) 评论(4) 推荐(37)