Fork me on GitHub
听雨轩
生命易破碎,梦想只争朝夕!
摘要: 参考:http://my.oschina.net/ydsakyclguozi/blog/412240 一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块:logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic... 阅读全文
posted @ 2016-02-16 22:31 流水殇 阅读(3039) 评论(0) 推荐(0) 编辑
摘要: 参考链接:http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ CoordinatedBolt是非常关键的一个类,它用于协调系统中的Bolt节点。对于事务Topology中的Bolt节点,若能知道属于某一个事务的消息是否全部收到,这是非常有用的。 阅读全文
posted @ 2016-02-14 21:06 流水殇 阅读(420) 评论(0) 推荐(0) 编辑
摘要: ITransactionalSpout 基本事务Topology的Spout接口,内含两部分接口:协调Spout接口以及消息发送Blot接口。 TransactionalSpoutBatchExecutor Bolt类型,用于执行ITransactionalSpout中的消息发送Bolt节点。 TransactionalSpoutCoordinator Spout类型,用于执行ITr... 阅读全文
posted @ 2016-02-13 12:08 流水殇 阅读(872) 评论(0) 推荐(0) 编辑
摘要: 1、Types Thrift类型系统包括预定义基本类型,用户自定义结构体,容器类型,异常和服务定义 (1) 基本类型 bool: 布尔类型,占一个字节 byte: 有符号字节 i16:16位有符号整型 i32:32位有符号整型 i64:64位有符号整型 double:64位浮点数 string:未知编码或者二进制的字符串 注意:thrift不支持无符号整形,因为很多目标语言不存在无符号整形(比如j... 阅读全文
posted @ 2016-02-11 14:04 流水殇 阅读(24623) 评论(0) 推荐(3) 编辑
摘要: 一、Nimbus Nimbus既需要在Zookeeper中创建元数据,也需要从Zookeeper中获取元数据。 如上图箭头1所示: 1、对于路径a,Nimbus只会创建路径,不会设置数据,数据是稍后由Worker设置的。 2、对于路基b和c,Nimbus在创建她们的时候就会设置数据。 3、路径a和b只有在提交新的Topology时才会创建,且b中的数据设置好以后就不会再变化;c在第一... 阅读全文
posted @ 2016-02-11 14:01 流水殇 阅读(1246) 评论(0) 推荐(0) 编辑
摘要: 新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:6667"); props.put("serializer.... 阅读全文
posted @ 2016-01-30 23:33 流水殇 阅读(6078) 评论(0) 推荐(0) 编辑
摘要: 在Mesos和YARN中,都用到了dominant resource fairness算法(DRF),它不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler,论文阅读:Dominant Resource Fairness: Fair Allocation of Multiple Resource Types 。考虑在一个包括多... 阅读全文
posted @ 2016-01-17 15:45 流水殇 阅读(4646) 评论(0) 推荐(0) 编辑
摘要: 方案就是设置javadoc生成失败时不导致整个打包失败: 1 2 org.apache.maven.plugins 3 maven-javadoc-plugin 4 2.8 5 ... 阅读全文
posted @ 2015-12-18 17:35 流水殇 阅读(858) 评论(0) 推荐(0) 编辑
摘要: 简介 "Swagger" 是一个规范和完整的框架,用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法,参数和模型紧密集成到服务器端的代码,允许API来始终保持同步。Swagger 让部署管理和使用功能强大的API... 阅读全文
posted @ 2015-11-25 00:28 流水殇 阅读(28238) 评论(13) 推荐(3) 编辑
摘要: 数据准备 1.收集数据 "UC Irvine Machine Learning Repository Concrete Compressive Strength Data Set " 把下载到的Concrete_Data.xls拷贝到R的工作目录,然后用Excel打开另存为concrete.cvs... 阅读全文
posted @ 2015-11-01 14:08 流水殇 阅读(5475) 评论(0) 推荐(0) 编辑
摘要: 学习聚类算法时,参考算法说明随手写的java实现,代码很简单,不多做说明啦,有需要的童鞋可以看看,自己也做个备录。http://files.cnblogs.com/files/yuananyun/%E8%81%9A%E7%B1%BB_DBCAN_Kmeans_Java.rar 阅读全文
posted @ 2015-10-30 23:02 流水殇 阅读(2094) 评论(0) 推荐(0) 编辑
摘要: 参考:http://cpjsjxy.iteye.com/blog/1587601Spring+Netty4实现的简单通信框架,支持Socket、HTTP、WebSocket_Text、WebSocket_Binary协议。代码简单明了,可以当作学习Netty的一个练手Demo,发布到此只是为了作为一... 阅读全文
posted @ 2015-09-05 13:25 流水殇 阅读(1378) 评论(0) 推荐(1) 编辑
摘要: Spark提供的JdbcRDD很不好用,没法指定命名参数,而且必须要提供两个Long类型的参数表示分区的范围,如果数据表没有long类型的字段或者不需要条件,那就不能用JdbcRDD了。这里我简单重写了一个GenericJdbcRDD,支持命名参数和分区,仅仅作为参考哦。 项目结构如下: GenericJdbcRDD.scala package yay.jdbc.rdd im... 阅读全文
posted @ 2015-02-09 14:55 流水殇 阅读(2184) 评论(0) 推荐(0) 编辑
摘要: 参考:http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/转载请注明来自:http://www.cnblogs.com/yuananyun/p/4265706.html研究Spark源码也有一段时间了... 阅读全文
posted @ 2015-02-01 16:37 流水殇 阅读(8295) 评论(10) 推荐(1) 编辑
摘要: 一、开篇 本博客来自:http://www.cnblogs.com/yuananyun/ final修饰符是Java中比较简单常用的修饰符,同时也是一个被”误解“较多的修饰符。对很多Java程序员来说,他们大都只是草草看了一下各种书本上的介绍,然后背下来,什么时候想起 来有这东西就用一下。对于何时使用final修饰符、使用final修饰符对程序有什么影响,这些其实他们并... 阅读全文
posted @ 2014-08-31 13:20 流水殇 阅读(1106) 评论(0) 推荐(1) 编辑
摘要: 一、static修饰的东东是属于这个类的,是所有的该类的实例共享的,因此它们的初始化先于实例对象的初始化。 二、Java中没有静态构造方法,但是有静态代码块。当类中同时存在静态代码块和静态成员变量声明语句时,它们谁先执行? 答:按照类中定义的从上到下顺序,谁在前面谁先执行。 三、当类中同时存在非静态代码块和非静态成员变量声明语句时,它们谁先执行? 答:按照类中定义的从上到下顺... 阅读全文
posted @ 2014-08-30 23:38 流水殇 阅读(565) 评论(0) 推荐(1) 编辑
摘要: Spring是一个很好很强大的开源框架,它就像是一个容器,为我们提供了各种Bean组件和服务。对于MVC这部分而言,它里面实现了从Url请求映射控制器方法的逻辑处理,在我们平时的开发工作中并不需要太多的理会这个Url是怎么和控制器中的方法建立映射的,一切都由Spring MVC帮我们搞定了。 但是我今天在做SDK工程的时候,突然产生一个想法:能否把我项目中的所有Url和Method的映... 阅读全文
posted @ 2014-08-25 10:12 流水殇 阅读(24493) 评论(7) 推荐(4) 编辑
摘要: 本文主要描述了在java开发中对http或https请求进行监听的方法。浏览器端的监听总是简单,后台代码的监听就比较困难了。如果没有一种方式可以对请求的参数信息进行监听分析,那真是太痛苦了,因为你基本只能靠猜,而本文将助你脱离苦海…… 阅读全文
posted @ 2014-08-18 20:25 流水殇 阅读(22665) 评论(0) 推荐(0) 编辑
摘要: 首先说些题外话,很久没有写博客了,空间里面的大部分文章还是11年写的。那时候刚毕业就来到这家公司,参与到一个Asp.net MVC的项目开发中,这个项目是一个全新的项目,连项目开发框架都没有,亏得领导的信任,让我研究一个MVC开发框架。那时候的我就像打了鸡血一样斗志高昂,努力奋斗了一个月后终于搭建了... 阅读全文
posted @ 2014-01-17 11:50 流水殇 阅读(10405) 评论(5) 推荐(1) 编辑
摘要: 今天新安装了ArcGIS Server9.3,然后发布了一个地图服务,结果浏览的时候提示: 谷歌度娘一番,好不容易找到一个可用的解决方法: 打开安装目录下 ArcGIS\DotNet\AddInstance.exe 。重新添加一个服务,我这里测试添加名为:"ArcGISServer",于是rest访问的URL变为 localhost/ArcGISServer/reset 啦,... 阅读全文
posted @ 2011-11-20 23:23 流水殇 阅读(1157) 评论(1) 推荐(0) 编辑