摘要：
解析器： 解析hql 遍历抽象语法树 抽象出查询基本单位 查询块 编译器： 遍历查询块 生成操作树 （即最初的执行逻辑）优化器： 合并不必要的job,减少shuffle 生成任务树 （即最终执行逻辑）执行器： 执行任务树 阅读全文
posted @ 2022-05-29 19:50
CHANG_09
阅读(162)
评论(0)
推荐(0)
摘要：
由CPU定时发出询问，依序询问每一个周边设备是否需要其服务，有即给予服务，服务结束后再问下一个周边，接着不断周而复始。 中断方式 和 轮询方式 的区别 中断机制不仅赋予了我处理意外情况的能力，如果我能充分发挥这个机制的妙用，就可以“同时”完成多个任务了，轮询(olling)I/O方式或程序控制I/O 阅读全文
posted @ 2022-05-29 19:42
CHANG_09
阅读(78)
评论(0)
推荐(0)
摘要：
负载均衡是用于解决一台机器（一个进程）无法解决所有请求，多个进程一起处理的场景而产生的一种算法。同一个请求只能交给一个进程处理，可以避免数据重复。均衡分配请求可以采用： 1)轮询（round_robin）； 2)随机（random）。 阅读全文
posted @ 2022-05-29 19:36
CHANG_09
阅读(74)
评论(0)
推荐(0)
摘要：
断点续传 实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;对收集过的历史文件进行备份处理; 实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;对收集过的历史文件进行备份处理; 消费组ID完全一样的,这样采集到的数据才不会重复的 阅读全文
posted @ 2022-05-29 19:32
CHANG_09
阅读(177)
评论(0)
推荐(0)
摘要：
原子性、一致性、隔离性、持久性。 通常称为 A C I D 特性。 原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。 一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。 隔离性 阅读全文
posted @ 2022-05-29 19:23
CHANG_09
阅读(152)
评论(0)
推荐(0)
摘要：
Flume是一个 分布式、可靠、和高可用 的 海量 日志采集、汇聚和 传输 的系统。 阅读全文
posted @ 2022-05-29 19:22
CHANG_09
阅读(67)
评论(0)
推荐(0)
摘要：
其一：flume使用两个独立的事务分别负责从source到channel以及从channel到sink的事件传递，source向channel写数据时会先将数据写入临时缓冲区putlist，然后检查channel是否可以写入，如果写入成功会更新偏移量，如果不成功就回滚数据， channel到sink 阅读全文
posted @ 2022-05-29 19:20
CHANG_09
阅读(467)
评论(0)
推荐(0)
摘要：
1.小文件数量过多（例如图片）会占用批量占用namenode的内存，浪费block因为每个储存在HDFS中的文件的元数据（包括目录树，位置信息，命名空间镜像，文件编辑信息） 都会在namenode中占用150b的内存，如果namenode存储空间满了，就不能继续存储新文件了。2.如果有多小文件，会造 阅读全文
posted @ 2022-05-29 19:18
CHANG_09
阅读(379)
评论(0)
推荐(0)
浙公网安备 33010602011771号