2020年7月9日
spark实现wordcount的几种方式总结
摘要： 方法一：map + reduceByKey package com.cw.bigdata.spark.wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * W 阅读全文
posted @ 2020-07-09 14:33 陈小哥cw 阅读(1836) 评论(1) 推荐(1) 编辑
2020年6月21日
kafka核心概念和角色
摘要： 文章目录1.概述2.Producer3.Co... 阅读全文
posted @ 2020-06-21 11:29 陈小哥cw 阅读(622) 评论(0) 推荐(0) 编辑
Kafka数据可靠性保证-ack,ISR,HW
摘要： 文章目录1.副本数据同步策略2.ISR,AR... 阅读全文
posted @ 2020-06-21 11:26 陈小哥cw 阅读(881) 评论(0) 推荐(0) 编辑
Kafka工作流程及文件存储机制
摘要： 文章目录一,Kafka工作流程二,文件存储机... 阅读全文
posted @ 2020-06-21 11:22 陈小哥cw 阅读(315) 评论(0) 推荐(0) 编辑
Kafka相关面试题详解
摘要： 文章目录面试题列表1.突发宕机，Kafka写... 阅读全文
posted @ 2020-06-21 11:03 陈小哥cw 阅读(896) 评论(0) 推荐(0) 编辑
Kafka三种可视化监控管理工具monitor，manager，eagle
摘要： 文章目录1.Kafka Monitor2.K... 阅读全文
posted @ 2020-06-21 10:49 陈小哥cw 阅读(4481) 评论(0) 推荐(0) 编辑
kafka消费者API之自定义存储offset 到mysql中
摘要： pom文件 ... 阅读全文
posted @ 2020-06-21 10:41 陈小哥cw 阅读(191) 评论(0) 推荐(1) 编辑
Kafka消费者组三种分区分配策略roundrobin，range，StickyAssignor
摘要： 一个consumer group中有多个co... 阅读全文
posted @ 2020-06-21 10:38 陈小哥cw 阅读(7626) 评论(0) 推荐(5) 编辑
Kafka入门之命令行操作
摘要： 1.创建topic[root@node01 ... 阅读全文
posted @ 2020-06-21 10:34 陈小哥cw 阅读(232) 评论(0) 推荐(0) 编辑
2020年5月15日
HDFS的快照snapshot的使用
摘要： 一,snapshot命令允许这个文件路径可以... 阅读全文
posted @ 2020-05-15 15:25 陈小哥cw 阅读(665) 评论(0) 推荐(0) 编辑
下一页