摘要:Hadoop "Hadoop(一)—— 启动与基本使用" "Hadoop(二)—— HDFS" "Hadoop(三)—— YARN" "Hadoop(四)—— MapReduce" "Hadoop(五)—— HDFS NameNode、DataNode工作机制" Spark "Spark(一)—— 阅读全文
posted @ 2019-12-28 17:18 CoffeJoy 阅读 (32) 评论 (0) 编辑
摘要:Figure 1 also shows how a typical query flows through the system. 图一显示一个普通的查询是如何流经Hive系统的。 The UI calls the execute interface to the Driver (step 1 in 阅读全文
posted @ 2020-01-17 15:16 CoffeJoy 阅读 (3) 评论 (0) 编辑
摘要:断点续传 执行 运行结果 事务 put事务和take事务 test test123 阅读全文
posted @ 2020-01-13 21:19 CoffeJoy 阅读 (9) 评论 (0) 编辑
摘要:自定义拦截器 自定义Source 自定义Sink 引入依赖 代码 编译好的jar上传到flume/lib下 创建配置文件mysink.conf 运行 运行结果 阅读全文
posted @ 2019-12-30 10:12 CoffeJoy 阅读 (17) 评论 (0) 编辑
摘要:Hadoop "Hadoop(一)—— 启动与基本使用" "Hadoop(二)—— HDFS" "Hadoop(三)—— YARN" "Hadoop(四)—— MapReduce" "Hadoop(五)—— HDFS NameNode、DataNode工作机制" Spark "Spark(一)—— 阅读全文
posted @ 2019-12-28 17:18 CoffeJoy 阅读 (32) 评论 (0) 编辑
摘要:参考文档 "开源数据同步神器——canal" "【若泽大数据】大数据之实时数据源同步中间件 生产上Canal与Maxwell颠峰对决" 阅读全文
posted @ 2019-12-27 15:42 CoffeJoy 阅读 (9) 评论 (0) 编辑
摘要:搭建环境 安装scala 安装gradle 在kafka源码的根目录执行命令 打开IDEA,File Open kafka源码项目, 将log4j.properties放置到src/main/Scala 配置启动/调试参数 测试运行结果 启动Kafka Server,使用客户端生产、消费消息 可以正 阅读全文
posted @ 2019-12-26 23:36 CoffeJoy 阅读 (12) 评论 (0) 编辑
摘要:一、NN与2NN工作机制 NameNode(NN) 1、当HDFS启动时,会加载日志(edits)和镜像文件(fsImage)到内存中。 2 4、当元数据的增删改查请求进来时,NameNode会先将操作记录到日志中,之后再执行内存数据的增删改查 SecondNameNode(2NN) 1、Secon 阅读全文
posted @ 2019-12-20 06:25 CoffeJoy 阅读 (33) 评论 (0) 编辑
摘要:概念 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能,极大的提高集群管理的效率。 API调用 引入依赖 参考文档 "cloudera manager api文档" "Cloudera E 阅读全文
posted @ 2019-12-16 20:47 CoffeJoy 阅读 (17) 评论 (0) 编辑
摘要:问题描述 出现异常之前做的操作就是,因为换工位的需要,所以关闭电脑,修改网络配置。 问题分析 Firefox和其他应用网络正常 Chrome设置、帮助等选项均打不开 分析,很可能是电脑重启后,Windows系统进行了升级,导致的Chrome崩溃的问题。 问题解决过程 1、尝试重启Chrome、重启电 阅读全文
posted @ 2019-12-16 10:36 CoffeJoy 阅读 (36) 评论 (0) 编辑
摘要:一、安装&启动 下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/ 快速开始文档,HBase2.1.8 http://hbase.apache.org/2.1/book.html 配置hbase site.xml 配置hbase e 阅读全文
posted @ 2019-12-09 11:01 CoffeJoy 阅读 (24) 评论 (0) 编辑