2017年8月29日
序列化与反序列化,
摘要： 序列化与反序列化,使用场景,在spark中executor执行task时的 task类 task被写到文件经过网络传输到达另一个节点然后执行,(移动计算) 阅读全文
posted @ 2017-08-29 18:00 牵牛花 阅读(152) 评论(0) 推荐(0)
kafka 面试题 无答案
摘要： kafka节点之间如何复制备份的？ kafka消息是否会丢失？为什么？ kafka最合理的配置是什么？ kafka的leader选举机制是什么？ kafka对硬件的配置有什么要求？ kafka的消息保证有几种方式？ 作者：半兽人链接：http://orchome.com/kafka/index来源： 阅读全文
posted @ 2017-08-29 11:02 牵牛花 阅读(3726) 评论(0) 推荐(0)
JedisConnectionPool scala
摘要： /** * Created by lq on 2017/8/29. */ object JedisConnectionPool { val config = new JedisPoolConfig() //最大连接数 config.setMaxTotal(10) //最大空闲连接数 config.setMaxIdle(5) //当调用borrow object ... 阅读全文
posted @ 2017-08-29 09:37 牵牛花 阅读(802) 评论(0) 推荐(1)
output-operations-on-dstreams
摘要： http://spark.apache.org/docs/1.6.1/streaming-programming-guide.html#output-operations-on-dstreams 阅读全文
posted @ 2017-08-29 09:28 牵牛花 阅读(172) 评论(0) 推荐(0)