上一页 1 2 3 4 5 6 7 ··· 19 下一页
摘要: 断点续传 执行 运行结果 原理 在配置的 文件中,会发现,flume将位置信息记录在这个postition中。 事务 put事务和take事务 阅读全文
posted @ 2020-01-13 21:19 清泉白石 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 自定义拦截器 自定义Source 自定义Sink 引入依赖 代码 编译好的jar上传到flume/lib下 创建配置文件mysink.conf 运行 运行结果 阅读全文
posted @ 2019-12-30 10:12 清泉白石 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 一、Java 源码阅读 "Java源码阅读(一)—— HashMap" "Java源码阅读(二)—— ConcurrentHashMap" "Java源码阅读(三)—— ThreadLocal" "Java源码阅读(四)—— ArrayBlockingQueue" "Java源码阅读(五)—— Ab 阅读全文
posted @ 2019-12-28 17:18 清泉白石 阅读(340) 评论(0) 推荐(0) 编辑
摘要: 参考文档 "开源数据同步神器——canal" "【若泽大数据】大数据之实时数据源同步中间件 生产上Canal与Maxwell颠峰对决" 阅读全文
posted @ 2019-12-27 15:42 清泉白石 阅读(327) 评论(0) 推荐(0) 编辑
摘要: 搭建环境 安装scala 安装gradle 在kafka源码的根目录执行命令 打开IDEA,File Open kafka源码项目, 配置config/server.properties,将zk的地址改为可用的地址,并启动zk。 将log4j.properties放置到src/main/Scala 阅读全文
posted @ 2019-12-26 23:36 清泉白石 阅读(2062) 评论(0) 推荐(0) 编辑
摘要: 一、NN与2NN工作机制 NameNode(NN) 1、当HDFS启动时,会加载日志(edits)和镜像文件(fsImage)到内存中。 2 4、当元数据的增删改查请求进来时,NameNode会先将操作记录到日志中,之后再执行内存数据的增删改查 SecondNameNode(2NN) 1、Secon 阅读全文
posted @ 2019-12-20 06:25 清泉白石 阅读(709) 评论(0) 推荐(1) 编辑
摘要: 概念 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能,极大的提高集群管理的效率。 API调用 引入依赖 参考文档 "cloudera manager api文档" "Cloudera E 阅读全文
posted @ 2019-12-16 20:47 清泉白石 阅读(558) 评论(0) 推荐(0) 编辑
摘要: 问题描述 出现异常之前做的操作就是,因为换工位的需要,所以关闭电脑,修改网络配置。 问题分析 Firefox和其他应用网络正常 Chrome设置、帮助等选项均打不开 分析,很可能是电脑重启后,Windows系统进行了升级,导致的Chrome崩溃的问题。 问题解决过程 1、尝试重启Chrome、重启电 阅读全文
posted @ 2019-12-16 10:36 清泉白石 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 一、安装&启动 下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/ 快速开始文档,HBase2.1.8 http://hbase.apache.org/2.1/book.html 配置hbase site.xml 配置hbase e 阅读全文
posted @ 2019-12-09 11:01 清泉白石 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop版本特性 MRv1 第一代计算框架,由编程模型和运行时环境两部分组成。 编程模型是,将数据进行map操作,然后进行reduce操作,最后将计算结果存储到HDFS中。 运行时环境是,由JobTracker和TaskTracker组成,JobTracker进行资源管理和作业控制。Task 阅读全文
posted @ 2019-12-05 16:25 清泉白石 阅读(570) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 19 下一页