2020年4月7日
Azkaban.Sqoop_网站流量日志分析2
摘要： 17-网站流量日志分析-数据处理流程 18-网站流量日志分析-数据采集 19-网站流量日志分析-数据预处理 SOH为\001分隔符 20-网站流量日志分析-获取PageView表模型 21-网站流量日志分析-获取Visit表模型 2代表在session中访问了几个页面 22-网站流量日志分析-hiv 阅读全文
posted @ 2020-04-07 17:40 Curedfisher 阅读(217) 评论(0) 推荐(0)
Azkaban.Sqoop_网站流量日志分析1
摘要： 15-网站流量日志分析-分析模型 16-网站流量日志分析-分析指标 阅读全文
posted @ 2020-04-07 14:56 Curedfisher 阅读(204) 评论(0) 推荐(0)
Azkaban,Sqoop讲义
摘要： Day 07 1. Azkaban介绍 1.1. 为什么需要Azkaban 一个完整的数据分析系统通常都是由大量任务单元组成 shell脚本程序 java程序 mapreduce程序 hive脚本等 各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划， 需要一个工作流调度 阅读全文
posted @ 2020-04-07 14:44 Curedfisher 阅读(444) 评论(0) 推荐(0)
Sqoop(将关系型数据库的数据导入到HDFS)
摘要： 10-sqoop入门介绍 11-sqoop安装 cd /export/servers/hadoop‐3.1.1/conf/ cp sqoop‐env‐template.sh sqoop‐env.sh vim sqoop‐env.sh export HADOOP_COMMON_HOME/export/ 阅读全文
posted @ 2020-04-07 06:57 Curedfisher 阅读(583) 评论(0) 推荐(0)