离线日志处理方案
摘要:
接上文,本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取,如下:(注:不要建成外部表,便于数据清洗完后Truncate掉数据,以便后续数据的清洗) 我们的access.log的日志数据格式如下: 所以建表语句中的正则式 二. 原始日 阅读全文
posted @ 2019-09-16 10:10 瑞查德 阅读(602) 评论(0) 推荐(0)
posted @ 2019-09-16 10:10 瑞查德 阅读(602) 评论(0) 推荐(0)
posted @ 2019-09-10 10:04 瑞查德 阅读(114) 评论(0) 推荐(1)
posted @ 2019-09-04 15:24 瑞查德 阅读(217) 评论(0) 推荐(0)
posted @ 2019-09-04 15:12 瑞查德 阅读(356) 评论(0) 推荐(0)
posted @ 2019-08-16 16:49 瑞查德 阅读(108) 评论(0) 推荐(0)
posted @ 2019-08-01 16:48 瑞查德 阅读(304) 评论(0) 推荐(1)
posted @ 2019-05-08 15:54 瑞查德 阅读(247) 评论(0) 推荐(0)