摘要: Flume Flume 概述: 特点:高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 选Flume的原因:FLume是流式传输实时处理的。 数据的传输过程:没有将用户产生的日志直接传输给大数据平台,而是传给日志服务器,可以按自己的需求方式去日志服务器获取。 不希望以你的方式来传输而时希 阅读全文
posted @ 2021-05-30 23:48 yuexiuping 阅读(143) 评论(0) 推荐(0) 编辑
摘要: Hive Hive简介: 特点:是一个数据仓库工具,将结构化的数据映射为一张表,并提供SQL查询功能,将SQL解析成Job。 本质:数据存储在HDFS上,元数据默认存储在derby上,Hive将HQL语言转化成MapReduce程序,程序运行在yarn上。由于derby仅支持单客户端,并不支持多客户 阅读全文
posted @ 2021-05-30 21:31 yuexiuping 阅读(225) 评论(0) 推荐(0) 编辑