习惯了蓝

摘要： hdfs组成架构有四个组件，分别是namenode,datanode,secondary namenode。 NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求 阅读全文

摘要： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name 阅读全文

摘要： spark-streaming-kafka-0-10源码分析 https://cloud.tencent.com/developer/article/1594316 spark闭包 https://mp.weixin.qq.com/s/l_tfjPMEBjx-63aYyez5Qg 阅读全文

摘要： object KafkaToHbase { def main(args: Array[String]): Unit = { //true a1 g1 ta,tb val Array(isLocal, appName, groupId, allTopics) = args val conf = new 阅读全文

摘要： /** * 从Kafka读取数据，实现ExactlyOnce，偏移量保存到Redis中 * 1.将聚合好的数据，收集到Driver端， * 2.然后将计算好的数据和偏移量在一个pipeline中同时保存到Redis中 * 3.成功了提交事物 * 4.失败了废弃原来的数据并让这个任务重启 */ obj 阅读全文

摘要： /** * 从Kafka读取数据，实现ExactlyOnce，偏移量保存到MySQL中 * 1.将聚合好的数据，收集到Driver端， * 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中 * 3.成功了提交事物 * 4.失败了让这个任务重启 * * MySQL数据库中有两张表：保存 阅读全文

摘要： SparkStream新版本中支持与Kafka直连的方式。下图是默认自动提交偏移量的情况。executor中的task会直连kafka对应的分区，消费完数据会把偏移量写回到kafka中特殊的__consumer_offset中 这种方式控制偏移量不够精准，无法保证数据的一致性，也就是exactly 阅读全文

摘要： shuffle是spark中一个很重要的概念，它表示的是上游分区的数据打散到下游分区中。一般来说，shuffle类的算子比如reducebykey会发生shuffle，但是并不是一定会产生。 比如，前面已经经过groupbykey进行分组了，现在再次调用shuffle类算子比如groupbykey， 阅读全文

摘要： 在spark中，使用类实例，一般分为四种情况 Driver初始化一个object，这个单例对象要伴随着Task发送到Executor，但是一个Executor中只有一份，必须实现序列化接口， 使用共享成员变量有可能会出现线程安全问题 Driver实例化一个类的实例（new一个实例），在函数内容引用了 阅读全文

摘要： sample采样算子 https://www.cnblogs.com/students/p/13432692.html sortby算子为什么会触发action操作。 https://waltyou.github.io/Special-SortBy-In-RDD/ 阅读全文