随笔分类 -  爬虫学习

python requests与aiohttp 速度对比
摘要：环境：centos7 python3.6 测试网址：www.bai.com 测试方式：抓取百度100次 结果： aio: 10.702147483825684srequests: 12.404678583145142s 异步框架的速度还是有显著提升的。 下面贡献代码： ——————————————— 阅读全文

posted @ 2018-08-04 17:31 陈严肃 阅读(1139) 评论(0) 推荐(0)

如何使用lxml的XPath功能
摘要：用python写爬虫呢，最常见的过滤方式有BeautifulSoup, css selector, XPath， 如果使用前两个，BeautifulSoup包就能解决，然而使用XPath，就要引入lxml包了。 接下来我以我的博客为例，教大家怎么使用XPath。 我们要做什么： 关于XPath， 网 阅读全文

posted @ 2017-08-02 16:29 陈严肃 阅读(830) 评论(0) 推荐(0)

pyqt5 在qt designer后以弹窗的方式连接多个UI图形界面
摘要：当我们通过pyqt开发时，eric6为我们提供了一个方便的工具：图形化的绘制ＵＩ工具－－qt designer。 我们可以通过它开发多个UI，然后利用信号-槽工具，将功能代码附着在上面。也可以将多个界面连接起来。 接下来，我要提供将多个UI链接起来的思路。 一：讲解：qt designer 自动生成 阅读全文

posted @ 2017-07-25 16:40 陈严肃 阅读(13533) 评论(4) 推荐(0)

浅谈 Requests包
摘要：浅谈 Requests包 一：Requests包是做什么的？ 简单地说，是用python处理HTTP的一个包。 它的标志也非常有气质，是一个双蛇杖，按照官方的说法，一条蛇代表client，一条代表server。 当然，它过去的标志是个给人一种很慢的错觉的王八这件事我就没必要说出来了，大家自己找图吧。 阅读全文

posted @ 2017-07-06 14:35 陈严肃 阅读(511) 评论(0) 推荐(0)

导航