脆皮软心 - 博客园

2018年10月25日

Spark常用机器学习算法代码 (scala+java)

摘要： http://www.bubuko.com/infodetail-2436275.html 阅读全文

posted @ 2018-10-25 17:01 脆皮软心阅读(267) 评论(0) 推荐(0) 编辑

Windows 7安装Tensorflow

摘要： https://www.cnblogs.com/mstk/p/9641649.html 阅读全文

posted @ 2018-10-25 12:02 脆皮软心阅读(100) 评论(0) 推荐(0) 编辑

2018年10月23日

Spark RDD算子

摘要： https://www.cnblogs.com/sharpxiajun/p/5510215.html 阅读全文

posted @ 2018-10-23 11:08 脆皮软心阅读(146) 评论(0) 推荐(0) 编辑

2018年10月9日

Kafka monitoring监控

摘要：一、Metrics kafka有两个metrics包,在看源码的时候很容易混淆可以看到这两个包的包名都是metrics,但是他们负责的任务并不相同,而且两个包中的类并没有任何的互相引用关系.可以看作是两个完全独立的包.kafka.mtrics这个包,主要调用yammer的Api,并进行封装,提供给阅读全文

posted @ 2018-10-09 10:56 脆皮软心阅读(1230) 评论(0) 推荐(0) 编辑

2018年9月30日

Kafka Consumer

摘要：本文转发自技术世界，原文链接　http://www.jasongj.com/2015/08/09/KafkaColumn4 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的阅读全文

posted @ 2018-09-30 15:42 脆皮软心阅读(285) 评论(0) 推荐(0) 编辑

Leader Election

摘要：一、zookepper Leader Election 主要有两种方法： (1)抢注Leader节点非公平模式 (2)先到先得，后者监听前者公平模式 (1)抢注Leader节点非公平模式 1.创建Leader父节点，如/chroot,并将其设置为persist持久节点； 2.各客户端通过在/c 阅读全文

posted @ 2018-09-30 12:07 脆皮软心阅读(825) 评论(1) 推荐(0) 编辑

Zookeeper如何正确设置和获取watcher

摘要： Watcher 设置是开发中最常见的，需要搞清楚watcher的一些基本特征，对于exists、getdata、getchild对于节点的不同操作会收到不同的 watcher信息 state=-112 会话超时状态 state= -113　认证失败状态 state= 1 连接建立中 state= 2 阅读全文

posted @ 2018-09-30 11:31 脆皮软心阅读(906) 评论(0) 推荐(0) 编辑

kafka与zookeeper读写分析

摘要： kafka的读写都通过leader完成，而zookeeper只有写要通过leader而读可以通过任意follower，我觉得造成这种差异的原因还是在于使用场景。 kafka的设计目标是实现一个高吞吐的消息处理系统，其一个重要特性就是需要保证数据一致性和有序性。如果所有Replica都可以同时读写，那阅读全文

posted @ 2018-09-30 11:24 脆皮软心阅读(188) 评论(0) 推荐(0) 编辑

2018年9月27日

kafka原生producer API

摘要：转自https://blog.csdn.net/tianlan996/article/details/80495208 1. 类 2. producer是线程安全的（这点不同于consumer），多线程共享producer可以提高效率。 3. 使用示例： producer包含一个缓存空间来存放未发送阅读全文

posted @ 2018-09-27 14:11 脆皮软心阅读(209) 评论(0) 推荐(0) 编辑

学习资料

摘要： 1、有关kafka、spark、大数据、机器学习、设计模式 http://www.jasongj.com/ 阅读全文

posted @ 2018-09-27 09:14 脆皮软心阅读(103) 评论(0) 推荐(0) 编辑