上一页 1 2 3 4 5 6 7 8 ··· 11 下一页

2016年8月8日

Kakfa揭秘 Day6 Consumer源码解密

摘要: Kakfa揭秘 Day6 Consumer源码解密 今天主要分析下Consumer是怎么来工作的,今天主要是例子出发,对整个过程进行刨析。 简单例子 Example中Consumer.java是一个简单的例子: 首先,是有一些重要的参数: MAX_POLL_RECORDS_CONFIG 表示一次获取 阅读全文

posted @ 2016-08-08 21:34 l_time 阅读(155) 评论(0) 推荐(0)

Kakfa揭秘 Day4 Kafka中分区深度解析

摘要: Kakfa揭秘 Day4 Kafka中分区深度解析 今天主要谈Kafka中的分区数和consumer中的并行度。从使用Kafka的角度说,这些都是至关重要的。 分区原则 Partition代表一个topic的分区,可以看到在构造时注册了zookeeper,也就是说kafka在分区时,是被zk管理的。 阅读全文

posted @ 2016-08-08 21:33 l_time 阅读(279) 评论(0) 推荐(1)

Kakfa揭秘 Day3

摘要: Kafka源码概述 今天开始进入Kafka的源码,本次学习基于最新的0.10.0版本进行。由于之前在学习Spark过程中积累了很多的经验和思想,这些在kafka上是通用的。 总体 首先从总体方式进行一下分析,进入最关键的core。 从源码角度看,最关键的是标红的几个模块。 admin是管理模块,主要 阅读全文

posted @ 2016-08-08 21:32 l_time 阅读(132) 评论(0) 推荐(0)

Kakfa揭秘 Day2 Kafka内核再揭秘

摘要: Spark Streaming揭秘 Day33 Kafka内核再揭秘 优秀的框架会把引擎做到极致,Kafka就是这样,让我们再深入一下研究。 设计目标 kafka系统有着比较独特的的设计,包括5点: kafka第一设计原则是速度,不是个考虑功能的消息组件,主要考虑的是消息的传递速度,为了速度可以舍弃 阅读全文

posted @ 2016-08-08 21:31 l_time 阅读(143) 评论(0) 推荐(0)

Kakfa揭秘 Day1 Kafka原理内幕

摘要: Spark Streaming揭秘 Day32 Kafka原理内幕 今天开始,会有几天的时间,和大家研究下Kafka。在大数据处理体系中,kafka的重要性不亚于SparkStreaming。可以认为sparkstreaming掌控处理,而kafka掌控流程控制。 让我们来了解下sparkstrea 阅读全文

posted @ 2016-08-08 21:30 l_time 阅读(188) 评论(0) 推荐(0)

Spark Streaming揭秘 Day31

摘要: 集群模式下SparkStreaming日志分析(续) 今天延续昨天的内容,主要对为什么一个处理会分解成多个Job执行进行解析。 让我们跟踪下Job调用过程。 从框架代码开始 我们从生成Job开始,generateJobs方法产生了Job,之后,提交了一个JobSet来进行处理。 JobSet会根据输 阅读全文

posted @ 2016-08-08 21:29 l_time 阅读(121) 评论(0) 推荐(0)

Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析

摘要: Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察、研究和透彻的刨析SparkStreaming的日志和web监控台。 Day28已经分析过local模式下的日志,集群模式会比较类似,这次主要是对集群模式在的web监控台,进行统一 阅读全文

posted @ 2016-08-08 21:28 l_time 阅读(191) 评论(0) 推荐(0)

Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming

摘要: Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中,Spark Streaming获得了比较全面的升级,称为Structured Streaming,和之前的很不同,功能更强大,效率更高,跟其他的组件整合性也更好 阅读全文

posted @ 2016-08-08 21:27 l_time 阅读(297) 评论(0) 推荐(0)

Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕

摘要: Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕 今天会逐行解析一下SparkStreaming运行的日志,运行的是WordCountOnline这个Demo。 启动过程 SparkStreaming启动是从如下日志开始: 16/06/ 阅读全文

posted @ 2016-08-08 21:26 l_time 阅读(334) 评论(0) 推荐(0)

Spark Streaming揭秘 Day27

摘要: Spark Streaming揭秘 Day27 Job产生机制 今天主要讨论一个问题,就是除了DStream action以外,还有什么地方可以产生Job,这会有助于了解Spark Streaming的本质。 我们从一个print方法触发,来看一下常用的action操作方式: 传统流程 一般来说,产 阅读全文

posted @ 2016-08-08 21:25 l_time 阅读(179) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 ··· 11 下一页

导航