随笔分类 -  爬虫数据采集

基于python的爬虫数据采集
Selenium处理动态HTML
摘要：当一些网站使用了动态加载我们该如何搞定呢？ 有两种方法：其一，直接在JavaScript里面采集内容，但是操作起来十分麻烦；其二，使用python的第三方库来运行JavaScript，直接采集你在浏览器里面看到的内容。 这时候就用到了python的一个自动化测试工具Selenium，它可以根据我们的 阅读全文
posted @ 2018-03-10 11:57 CCColby 阅读(451) 评论(0) 推荐(0)
线程和进程——python的多线程
摘要：首先要分清楚这两个概念。 进程：一个具有独立功能的程序关于某个数据集合的一次运行活动。其一，它是一个实体；其二，是一个“执行中的程序”。 线程：进程里包含的执行单元叫线程，一个进程可以包含多个线程。它是cpu的基本调度单位。 一个进程的内存空间是可以被它的线程共享的，但是一个线程在使用时，其它线程必 阅读全文
posted @ 2018-03-03 16:36 CCColby 阅读(264) 评论(0) 推荐(0)
python爬虫（8）——Xpath的应用实例：爬取腾讯招聘信息
摘要：上一篇文章，简单介绍了beautifulsoup这个解析器，下面来了解一个我非常喜欢的工具——Xpath。 Xpath是一门在XML文档中查找信息的语言，可用来在XML文档中对元素和属性进行遍历。推荐各位使用Google浏览器吧Chrome，安装一个插件工具Xpath Helper。文档传送门：ht 阅读全文
posted @ 2018-02-28 14:09 CCColby 阅读(795) 评论(0) 推荐(0)
python爬虫（7）——BeautifulSoup
摘要：今天介绍一个非常好用的python爬虫库——beautifulsoup4。beautifulsoup4的中文文档参考网址是：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/ 首先使用pip安装这个库，当然还要用到lxml这个解析器，配合使用可以很方便 阅读全文
posted @ 2018-02-24 12:37 CCColby 阅读(885) 评论(0) 推荐(0)
python爬虫（6）——正则表达式（三）
摘要：下面，我再写一个例子，加强对正则表达式的理解。还是回到我们下载的那个二手房网页，在实际中，我们并不需要整个网页的内容，因此我们来改进这个程序，对网页上的信息进行过滤筛选，并保存我们需要的内容。打开chrome浏览器，右键检查。 在网页源码中找到了我们所需要的内容。为了调试程序，我们可以在 http: 阅读全文
posted @ 2018-02-20 15:24 CCColby 阅读(340) 评论(0) 推荐(0)
python爬虫（5）——正则表达式（二）
摘要：前一篇文章，我们使用re模块来匹配了一个长的字符串其中的部分内容。下面我们接着来作匹配“1305101765@qq.com advantage 314159265358 1892673 3.14 little Girl try_your_best 56 123456789@163.com pytho 阅读全文
posted @ 2018-02-18 19:47 CCColby 阅读(443) 评论(0) 推荐(0)
python爬虫（4）——正则表达式（一）
摘要：在前几篇文章中我们使用了python的urllib模块，做了一些访问网页的工作。现在介绍一个非常强大的工具——正则表达式。在讲述正则的时候，我参考了《精通正则表达式（第三版） Jeffrey E.F.Friedl》这本书，虽然本书的参考语言并没有python，但相通之处颇多，可以细读一部分。 通常我 阅读全文
posted @ 2018-02-17 21:07 CCColby 阅读(202) 评论(0) 推荐(0)
python爬虫（3）——SSL证书与Handler处理器
摘要：一、SSL证书问题 上一篇文章，我们创建了一个小爬虫，下载了上海链家房产的几个网页。实际上我们在使用urllib联网的过程中，会遇到证书访问受限的问题。 处理HTTPS请求SSL证书验证，如果SSL证书验证不通过，会警告用户证书不受信任（即没有通过AC认证）。 上图左边我们可以看到SSL验证失败，所 阅读全文
posted @ 2018-02-15 14:21 CCColby 阅读(571) 评论(0) 推荐(0)
python爬虫（2）——编写一个爬虫
摘要：一、URL的编码与解码 在python2中包含的urllib和urllib2，都是接受URL请求相关的模块。但是在python3中，却没有urllib2。实际上urllib2的功能在python3中可以用urllib来实现。 通常编码工作，我们使用urllib.parse.urlencode()函数 阅读全文
posted @ 2018-02-12 12:26 CCColby 阅读(505) 评论(0) 推荐(0)
python爬虫（1）——urllib包
摘要：人生苦短，我用python！ 一、关于爬虫 鉴于我的windos环境使用命令行感觉非常不便，也懒得折腾虚拟机，于是我选择了一个折中的办法——Cmder。它的下载地址是：cmder.net Cmder是一个增强型命令行工具，不仅可以使用windows下的所有命令，更爽的是可以使用linux的命令,sh 阅读全文
posted @ 2018-02-11 17:12 CCColby 阅读(404) 评论(0) 推荐(0)