清泉白石

摘要： 断点续传 执行 运行结果 原理 在配置的 文件中，会发现，flume将位置信息记录在这个postition中。 事务 put事务和take事务 阅读全文

摘要： 自定义拦截器 自定义Source 自定义Sink 引入依赖 代码 编译好的jar上传到flume/lib下 创建配置文件mysink.conf 运行 运行结果 阅读全文

摘要： 一、Java 源码阅读 "Java源码阅读（一）—— HashMap" "Java源码阅读（二）—— ConcurrentHashMap" "Java源码阅读（三）—— ThreadLocal" "Java源码阅读（四）—— ArrayBlockingQueue" "Java源码阅读（五）—— Ab 阅读全文

摘要： 参考文档 "开源数据同步神器——canal" "【若泽大数据】大数据之实时数据源同步中间件 生产上Canal与Maxwell颠峰对决" 阅读全文

摘要： 搭建环境 安装scala 安装gradle 在kafka源码的根目录执行命令 打开IDEA，File Open kafka源码项目， 配置config/server.properties，将zk的地址改为可用的地址，并启动zk。 将log4j.properties放置到src/main/Scala 阅读全文

摘要： 一、NN与2NN工作机制 NameNode(NN) 1、当HDFS启动时，会加载日志(edits)和镜像文件(fsImage)到内存中。 2 4、当元数据的增删改查请求进来时，NameNode会先将操作记录到日志中，之后再执行内存数据的增删改查 SecondNameNode(2NN) 1、Secon 阅读全文

摘要： 概念 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，极大的提高集群管理的效率。 API调用 引入依赖 参考文档 "cloudera manager api文档" "Cloudera E 阅读全文

摘要： 问题描述 出现异常之前做的操作就是，因为换工位的需要，所以关闭电脑，修改网络配置。 问题分析 Firefox和其他应用网络正常 Chrome设置、帮助等选项均打不开 分析，很可能是电脑重启后，Windows系统进行了升级，导致的Chrome崩溃的问题。 问题解决过程 1、尝试重启Chrome、重启电 阅读全文

摘要： 一、安装&启动 下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/ 快速开始文档，HBase2.1.8 http://hbase.apache.org/2.1/book.html 配置hbase site.xml 配置hbase e 阅读全文

摘要： 一、Hadoop版本特性 MRv1 第一代计算框架，由编程模型和运行时环境两部分组成。 编程模型是，将数据进行map操作，然后进行reduce操作，最后将计算结果存储到HDFS中。 运行时环境是，由JobTracker和TaskTracker组成，JobTracker进行资源管理和作业控制。Task 阅读全文