2019年9月16日

离线日志处理方案

摘要： 接上文，本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取，如下：（注：不要建成外部表，便于数据清洗完后Truncate掉数据，以便后续数据的清洗） 我们的access.log的日志数据格式如下： 所以建表语句中的正则式 二. 原始日 阅读全文

posted @ 2019-09-16 10:10 瑞查德 阅读(602) 评论(0) 推荐(0)

离线日志收集方案

摘要： 原文地址：https://www.cnblogs.com/hzhuxin/p/11258825.html 一. 埋点 测试时，需要自己模拟一个网站系统，在其中需要埋点的页面中的<head></head>中加入如下代码： <script src="tongji.js"></script> 注：tong 阅读全文

posted @ 2019-09-16 09:52 瑞查德 阅读(546) 评论(0) 推荐(0)

导航