2018年3月14日

java volatile关键字解析

摘要:volatile是什么 volatile在java语言中是一个关键字,用于修饰变量。被volatile修饰的变量后,表示这个变量在不同线程中是共享,编译器与运行时都会注意到这个变量是共享的,因此不会对该变量进行重排序。上面这句话可能不好理解,但是存在两个关键,共享和重排序。 变量的共享 先来看一个被 阅读全文

posted @ 2018-03-14 17:56 阿姆斯特朗回旋炮 阅读(2171) 评论(1) 推荐(2) 编辑

2018年3月12日

几种常见的排序算法

摘要:几种常见的排序算法 冒泡排序(Bubble Sort): 冒泡排序是一种计算机科学领域的较简单的排序算法。以数字排序为例,冒泡排序让相连的两个数字进行比较,将比较大的数字放在右边。假设最大的数字N在最左边。第一趟排序的时候,N每次和右边的数字做对比,都将比右边的数字大,然后将N一直往右移动只到最右。 阅读全文

posted @ 2018-03-12 14:55 阿姆斯特朗回旋炮 阅读(1118) 评论(1) 推荐(2) 编辑

2018年1月31日

mysql查看执行计划重构后的查询

摘要:MYSQL优化器会对客服端发送的SQL语句进行优化,优化后的SQL语句再被MYSQL执行。然后我们在优化SQL的时候,怎么获取到MYSQL优化后执行语句呢。 执行了上述语句后,可以看到结果如下图: 将Message复制下来后查看: MYSQL重构的查询如上图。 在学习《高性能MySql》这本书的时候 阅读全文

posted @ 2018-01-31 16:19 阿姆斯特朗回旋炮 阅读(196) 评论(0) 推荐(0) 编辑

2018年1月9日

爬虫优化设计

摘要:该随笔是在原随笔上进行的优化,原随笔地址:http://www.cnblogs.com/null-qige/p/8028832.html 一、原设计 基于原先设计,当一个任务启动,添加多个spider,每个spider负责一个业务。通过子spider持有父spider的引用来进行业务关联,比如子sp 阅读全文

posted @ 2018-01-09 17:14 阿姆斯特朗回旋炮 阅读(220) 评论(0) 推荐(0) 编辑

2017年12月29日

RabbitMQ阻塞读取时数据时,关闭channel引起的问题和解决方案

摘要:项目场景: 最近在项目中使用了RabbitMq,其中有一个功能必须能随时切断RabbitMq的coumser。第一时间写出来的代码如下: 伪代码: 通过关闭channel,消费者自然会关闭。然而,项目开始报错: channel关闭抛出ShutdownSignalException,抛出异常就表示这种 阅读全文

posted @ 2017-12-29 16:20 阿姆斯特朗回旋炮 阅读(5916) 评论(0) 推荐(0) 编辑

2017年12月12日

webMagic+RabbitMQ+ES爬取京东建材数据

摘要:本次爬虫所要爬取的数据为京东建材数据,在爬取京东的过程中,发现京东并没有做反爬虫动作,所以爬取的过程还是比较顺利的。 为什么要用WebMagic: WebMagic作为一款轻量级的Java爬虫框架,可以极大的减少爬虫的开发时间 为什么要使用MQ(本项目用的RabbitMq,其他的MQ也可以): 解耦 阅读全文

posted @ 2017-12-12 17:26 阿姆斯特朗回旋炮 阅读(1995) 评论(2) 推荐(5) 编辑

2017年12月4日

webMagic解析淘宝cookie 提示Invalid cookie header

摘要:webMagic解析淘宝cookie 提示Invalid cookie header 在使用webMagic框架做爬虫爬取淘宝极又家页面时候一直提醒cookie设置不可用如下图 淘宝的验证特别严重,cookie没有正常设置进去后面会频繁弹出验证页面,这是我们不想看到的。为了解决这个问题,debug进 阅读全文

posted @ 2017-12-04 20:04 阿姆斯特朗回旋炮 阅读(1934) 评论(0) 推荐(0) 编辑

2017年11月16日

学习用java基于webMagic+selenium+phantomjs实现爬虫Demo爬取淘宝搜索页面

摘要:由于业务需要,老大要我研究一下爬虫。 团队的技术栈以java为主,并且我的主语言是Java,研究时间不到一周。基于以上原因固放弃python,选择java为语言来进行开发。等之后有时间再尝试python来实现一个。 本次爬虫选用了webMagic+selenium+phantomjs,选用他们的原因 阅读全文

posted @ 2017-11-16 16:24 阿姆斯特朗回旋炮 阅读(13386) 评论(7) 推荐(0) 编辑

导航