丹江湖畔养蜂子赵大爹

2016年5月31日

摘要：在window上搭建kafka的源代码开发环境，主要参考如下的blog： http://www.bubuko.com/infodetail-695974.html << Windows平台搭建Kafka源代码开发环境(Eclipse版本) >> http://stackoverflow.com/qu 阅读全文

posted @ 2016-05-31 16:17 丹江湖畔养蜂子赵大爹阅读(2061) 评论(0) 推荐(0)

2016年5月24日

storm中DAU实时计算方案

摘要：所就职的公司是一家互联网视频公司，存在大量的实时计算需求，计算uv，pv等一些经典的实时指标统计。由于要统计当天的实时 UV，当天的uv由于要存储当天的所有的key，面临本地内存不够用的问题，异常重启后会丢失本地缓存，造成计算结果不准确的问题。；如果使用外部缓存比如redis，memcache等，在阅读全文

posted @ 2016-05-24 14:53 丹江湖畔养蜂子赵大爹阅读(1859) 评论(0) 推荐(0)

2016年3月21日

scala的传名参数

摘要： scala如果你想实现像if ，while等类似的控制结构，根本没有值要传入花括号{}直接的代码里。要怎么实现。比如说，我们要实现一个断言的控制结构，myAssert（）， myAssert函数参考自带参数和一个标示变量，如果标示位为false，则什么都不做，如果为true则进行正常判断。下面是阅读全文

posted @ 2016-03-21 16:55 丹江湖畔养蜂子赵大爹阅读(725) 评论(0) 推荐(0)

scala中如何编写自定义的流程控制结构

摘要： scala是一种函数式编程风格的语言，除了常见的if......else ,for ,while等传统的流程控制结构，也可以自定义流程控制的控制结构。再了解scala如何实现编写新的流程结构，我们了解一下头等函数的概念； scala的函数是头等函数（first-class function）.你不阅读全文

posted @ 2016-03-21 16:28 丹江湖畔养蜂子赵大爹阅读(914) 评论(1) 推荐(2)

2016年3月16日

scala打印九九乘法表的5种实现

摘要：使用scala打印九九乘法表，可以有多种实现方法，实现的过程充分的体现的scala语言的优势和巨大的简洁性和高效性，下面我用了5种方法实现九九乘法表。使用类似于java，c++等指令风格的的编程实现，源码如下：执行的结果如下： 1*1=1 1*2=2 1*3=3 1*4=4 1*5=5 1*6 阅读全文

posted @ 2016-03-16 16:59 丹江湖畔养蜂子赵大爹阅读(8828) 评论(3) 推荐(3)

2016年3月9日

kakfa源码编译打包

摘要： kafka源码编译阅读全文

posted @ 2016-03-09 17:25 丹江湖畔养蜂子赵大爹阅读(772) 评论(0) 推荐(1)

kakfa的常用命令总结

摘要： Kafka的版本间差异较大，下面是0.8.2.1的操作方法首先cd到kafaka的bin目录下; ＃step1启动zookeeper服务 nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.out 阅读全文

posted @ 2016-03-09 17:13 丹江湖畔养蜂子赵大爹阅读(1188) 评论(0) 推荐(1)

kafka单节点部署无法访问问题解决

摘要：场景：在笔记本安装了一台虚拟机，在本地的虚拟机上部署了一个kafka服务：写了一个测试程序，在笔记本上运行测试程序，访问虚拟机上的kafka，报如下异常： 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO] 阅读全文

posted @ 2016-03-09 17:01 丹江湖畔养蜂子赵大爹阅读(3031) 评论(0) 推荐(1)

ubuntu下安装gradle

摘要： 1.下载gradle 下载地址：当前版本gradle-2.10-all.zip http://gradle.org/gradle-download/ 2.解压安装gradle unzip gradle-2.10-all.zip 3. 配置环境变量 vi /etc/profile 4.查看gradle 阅读全文

posted @ 2016-03-09 16:53 丹江湖畔养蜂子赵大爹阅读(2647) 评论(0) 推荐(0)

2016年3月7日

kafka使用getOffsetsBefore()获取获取offset异常分析

摘要：根据时间戳获取kafka的topic的偏移量，结果获取的偏移量量数据组的长度为0，就会出现如下的数组下标越界的异常，实现的原理是使用了kafka的getOffsetsBefore（）方法: Exception in thread "main" java.lang.ArrayIndexOutOfBou 阅读全文

posted @ 2016-03-07 11:09 丹江湖畔养蜂子赵大爹阅读(4442) 评论(0) 推荐(0)

丹江湖畔养蜂子的赵大爹

公告