随笔分类 -  爬虫

爬取大规模数据并且保存在mongoDB
摘要：为了使用mongoDB，首先得安装一下三个软件： 1、安装MongoDB 2、安装第三方库 pymongo 3、安装pycharm的MongoDB插件 启动：net start MongoDB 在Python中使用mongodb： 1、导入Python和mongodb连接用到一个库import py 阅读全文
posted @ 2018-05-12 09:53 onlyhold 阅读(818) 评论(0) 推荐(0)
如何爬取网页中的动态数据
摘要：如何使用爬虫爬取网站中的异步加载数据 1、什么是异步加载？ 向一个网站发送一个请求，网站服务器值返回一部分数据， 阅读全文
posted @ 2018-05-06 14:47 onlyhold 阅读(1042) 评论(0) 推荐(0)
爬虫的基本流程
摘要：元素筛选有不同的方式，根据元素的属性，或者元素的相对位置（只要找到这个元素是唯一的，可以通过在网页的源码中搜索），总的来讲，需要多试，尝试中找出可用的定位方法 1、把页面放入到BeautifulSoup容器当中 2、获取页元素 3、筛选元素的具体信息 阅读全文
posted @ 2018-05-06 11:04 onlyhold 阅读(309) 评论(0) 推荐(0)