2017年6月27日
python3 爬虫日记(三) 爬取堆糖动态加载网页
摘要： 1.分析：进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片，下拉后发现会有不断的图片刷新出来，这就是堆糖采用了动态加载网页。 2.用开发者工具(F12)分析：按一下F12，找到network分支，再按一下F5，将刷新后的网页一直往下拉，打开XHR，发现Name下有两个或多个？includ 阅读全文
posted @ 2017-06-27 20:54 SnailsH 阅读(22) 评论(0) 推荐(0)
2017年6月23日
python3 爬虫日记（二） 将数据存到Mongodb
摘要： python版本：3.6.1 开发工具：PyCharm社区版，Anaconda3 数据库：MongoDB 可视化MongoDB工具：MongoVUE 1.开启数据库后，打开MongoVUE使MongoDB可视化。 2.用PyCharm编写代码，爬取数据并保存到数据库中。 3.刷新数据库查看是否保存数 阅读全文
posted @ 2017-06-23 16:31 SnailsH 阅读(73) 评论(0) 推荐(0)
2017年6月17日
Python3爬虫笔记一
摘要： 1.提取出‘[ ]’里的数字，比如在爬取煎蛋网妹子图时需要去掉'[ ]'提取出里面的数字，也就是页码，这里用到的是python里的re模块的sub方法。 span_tag = sou.find_all('span', attrs={'class': 'current-comment-page'})[ 阅读全文
posted @ 2017-06-17 17:44 SnailsH 阅读(8) 评论(0) 推荐(0)