2019年9月16日

离线日志处理方案

摘要: 接上文,本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取,如下:(注:不要建成外部表,便于数据清洗完后Truncate掉数据,以便后续数据的清洗) 我们的access.log的日志数据格式如下: 所以建表语句中的正则式 二. 原始日 阅读全文

posted @ 2019-09-16 10:10 瑞查德 阅读(602) 评论(0) 推荐(0)

离线日志收集方案

摘要: 原文地址:https://www.cnblogs.com/hzhuxin/p/11258825.html 一. 埋点 测试时,需要自己模拟一个网站系统,在其中需要埋点的页面中的<head></head>中加入如下代码: <script src="tongji.js"></script> 注:tong 阅读全文

posted @ 2019-09-16 09:52 瑞查德 阅读(546) 评论(0) 推荐(0)

导航