摘要：Hadoop "Hadoop（一）—— 启动与基本使用" "Hadoop（二）—— HDFS" "Hadoop（三）—— YARN" "Hadoop（四）—— MapReduce" "Hadoop（五）—— HDFS NameNode、DataNode工作机制" Spark "Spark（一）—— 阅读全文
posted @ 2019-12-28 17:18 CoffeJoy 阅读 (32) 评论 (0)
编辑
摘要：Figure 1 also shows how a typical query flows through the system. 图一显示一个普通的查询是如何流经Hive系统的。 The UI calls the execute interface to the Driver (step 1 in 阅读全文
posted @ 2020-01-17 15:16 CoffeJoy 阅读 (3) 评论 (0)
编辑
摘要：断点续传 执行 运行结果 事务 put事务和take事务 test test123 阅读全文
posted @ 2020-01-13 21:19 CoffeJoy 阅读 (9) 评论 (0)
编辑
摘要：自定义拦截器 自定义Source 自定义Sink 引入依赖 代码 编译好的jar上传到flume/lib下 创建配置文件mysink.conf 运行 运行结果 阅读全文
posted @ 2019-12-30 10:12 CoffeJoy 阅读 (17) 评论 (0)
编辑
摘要：Hadoop "Hadoop（一）—— 启动与基本使用" "Hadoop（二）—— HDFS" "Hadoop（三）—— YARN" "Hadoop（四）—— MapReduce" "Hadoop（五）—— HDFS NameNode、DataNode工作机制" Spark "Spark（一）—— 阅读全文
posted @ 2019-12-28 17:18 CoffeJoy 阅读 (32) 评论 (0)
编辑
摘要：参考文档 "开源数据同步神器——canal" "【若泽大数据】大数据之实时数据源同步中间件 生产上Canal与Maxwell颠峰对决" 阅读全文
posted @ 2019-12-27 15:42 CoffeJoy 阅读 (9) 评论 (0)
编辑
摘要：搭建环境 安装scala 安装gradle 在kafka源码的根目录执行命令 打开IDEA，File Open kafka源码项目， 将log4j.properties放置到src/main/Scala 配置启动/调试参数 测试运行结果 启动Kafka Server，使用客户端生产、消费消息 可以正 阅读全文
posted @ 2019-12-26 23:36 CoffeJoy 阅读 (12) 评论 (0)
编辑
摘要：一、NN与2NN工作机制 NameNode(NN) 1、当HDFS启动时，会加载日志(edits)和镜像文件(fsImage)到内存中。 2 4、当元数据的增删改查请求进来时，NameNode会先将操作记录到日志中，之后再执行内存数据的增删改查 SecondNameNode(2NN) 1、Secon 阅读全文
posted @ 2019-12-20 06:25 CoffeJoy 阅读 (33) 评论 (0)
编辑
摘要：概念 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，极大的提高集群管理的效率。 API调用 引入依赖 参考文档 "cloudera manager api文档" "Cloudera E 阅读全文
posted @ 2019-12-16 20:47 CoffeJoy 阅读 (17) 评论 (0)
编辑
摘要：问题描述 出现异常之前做的操作就是，因为换工位的需要，所以关闭电脑，修改网络配置。 问题分析 Firefox和其他应用网络正常 Chrome设置、帮助等选项均打不开 分析，很可能是电脑重启后，Windows系统进行了升级，导致的Chrome崩溃的问题。 问题解决过程 1、尝试重启Chrome、重启电 阅读全文
posted @ 2019-12-16 10:36 CoffeJoy 阅读 (36) 评论 (0)
编辑