随笔分类 -  网络爬虫

# ActiveMQ连接超时问题（java.net.SocketException: Connection reset）
摘要：ActiveMQ连接超时问题（java.net.SocketException: Connection reset）长时间未向MQ推送消息，将出现如下警告： 在spring中添加如下配置 若在未启动MQ的情况下，先启动项目，添加上述配置后系统将显示自动重连； 此时再启动MQ，项目即可正常启动； 点赞 阅读全文
posted @ 2020-02-10 16:44 疯子110 阅读(2907) 评论(0) 推荐(0)
（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据
摘要：又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。 翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！ 我也想“谈不分手的恋爱 阅读全文
posted @ 2019-02-21 08:50 疯子110 阅读(1779) 评论(1) 推荐(0)
零基础掌握百度地图兴趣点获取POI爬虫（python语言爬取）（代码篇）
摘要：好，现在进入高阶代码篇。 目的： 爬取昆明市中学的兴趣点POI。 关键词：中学 已有ak：9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 昆明市坐标范围： 左下角：24.390894，102.174112 右上角：26.548645，103.678942 URL模板： http:/ 阅读全文
posted @ 2019-02-15 15:35 疯子110 阅读(1565) 评论(0) 推荐(0)
python 爬取全量百度POI
摘要：在网上找了很多关于爬取百度POI的文章，但是对“全量”的做法并没有得到最终的解决方案，自己写了一个，但还是不能实现全量POI抓取，能够达到至少50%的信息抓取。注意：这里所指“全量”是能够达到100%的POI信息获取。以下是自己写的代码可直接复制粘贴使用,只针对重庆主城区的。 # -*- codin 阅读全文
posted @ 2019-02-15 15:10 疯子110 阅读(4154) 评论(0) 推荐(0)
百度地图POI数据爬取，突破百度地图API爬取数目“400条“的限制11。
摘要：1.POI爬取方法说明 1.1AK申请 登录百度账号，在百度地图开发者平台的API控制台申请一个服务端的ak,主要用到的是Place API.检校方式可设置成IP白名单，IP直接设置成了0.0.0.0/0比较方便。 Place API 提供的接口用于返回查询某个区域的某类POI数据，且提供单个POI 阅读全文
posted @ 2019-02-15 15:05 疯子110 阅读(10295) 评论(1) 推荐(1)
Java使用HtmlUnit抓取js渲染页面
摘要：需求： 需要采集js渲染的页面，有些网站的页面是js渲染的 实现： 基于HtmlUnit实现： maven依赖： 说明： Nutch插件：nutch-htmlunit用于替换Nutch自身的Http Fetch组件 阅读全文
posted @ 2017-05-22 17:11 疯子110 阅读(6285) 评论(1) 推荐(0)
htmlunit爬取js异步加载后的页面
摘要：直接上代码： 一、 index.html 调用后台请求获取content中的内容。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 二、TestController.java /test/te 阅读全文
posted @ 2017-05-19 15:22 疯子110 阅读(4402) 评论(1) 推荐(0)
HtmlUnit爬取Ajax动态生成的网页以及自动调用页面javascript函数
摘要：HtmlUnit官网的介绍： HtmlUnit是一款基于Java的没有图形界面的浏览器程序。它模仿HTML document并且提供API让开发人员像是在一个正常的浏览器上操作一样，获取网页内容，填充表单，点击超链接等等。 它非常好的支持JavaScript并且仍在不断改进，同时能够解析非常复杂的A 阅读全文
posted @ 2017-05-19 15:21 疯子110 阅读(11004) 评论(1) 推荐(0)
网络爬虫基本原理(二)
摘要：四、更新策略 互联网是实时变化的，具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略又以下三种： 1.历史参考策略 顾名思义，根据页面以往的历史更新数据，预测该页面未来何时会发生变化。一般来说，是通过泊松过程进行建模进行预测。 2.用户体验策略尽管搜索引擎针... 阅读全文
posted @ 2015-11-30 16:44 疯子110 阅读(398) 评论(0) 推荐(0)
网络爬虫基本原理(一)
摘要：网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。一、网络爬虫的基本结构及工作流程 一个通用的网络爬虫的框架如图所示： 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子... 阅读全文
posted @ 2015-11-30 16:38 疯子110 阅读(529) 评论(0) 推荐(0)