2017年7月3日

手动爬虫之糗事百科（ptyhon3）

摘要： 一、调用封装的Url_ProxyHelper类，源码如下 二、爬取源码 三、一点总结 1.关于urllib.request.urlopen("www.x.com").read()是否调用decode("utf-8")。答：一般而言，当我们抓取一个页面需要将该信息存档（如存为x.html文件）时，这个 阅读全文

posted @ 2017-07-03 17:29 小明在线 阅读(391) 评论(0) 推荐(0)

手动爬虫之淘宝笔记本栏（ptyhon3）

摘要： 1.这次爬虫用到了之前封装的Url_ProxyHelper类，源代码如下 2.爬取源代码： 阅读全文

posted @ 2017-07-03 14:07 小明在线 阅读(359) 评论(0) 推荐(0)

手动爬虫之报头及代理封装类（python3）

摘要： 本人刚刚学习爬虫，见每次都需要添加报头比较繁琐，故将该过程封装为Url_ProxyHelper类，代码如下 测试： 阅读全文

posted @ 2017-07-03 13:25 小明在线 阅读(528) 评论(0) 推荐(0)

python3连接Mongodb

摘要： 前提条件，安装过Mongondb,并且装一下Robomongo（为了更加直观地看到测试时数据的变化 ） 1.安装PyMySQL pip install pymongo 2.测试 3.结果 阅读全文

posted @ 2017-07-03 10:31 小明在线 阅读(5782) 评论(0) 推荐(0)

导航