随笔分类 -  大数据

kafka入门
摘要：kafka副本(replication)包含两种类型：leader副本，follower副本 leader副本负责读写请求，follower副本负责同步leader副本消息，通过副本选举实现故障转移。 阅读全文
posted @ 2019-10-19 00:12 guoew 阅读(390) 评论(0) 推荐(0)
hadoop运维笔记
摘要：一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON 报错原因： 在运行环境没有找到fastjson的依赖库 解决方法： 在SPARK_HOME/jars/ 添加fastjson-VER 阅读全文
posted @ 2019-02-17 14:13 guoew 阅读(1716) 评论(0) 推荐(1)