大三上期中测试

测试要求:

1、数据清洗:按照进行数据清洗,并将清洗后的数据导入hive数据库中。

两阶段数据清洗:

(1)第一阶段:把需要的信息从原始日志中提取出来

(2)第二阶段:根据提取出来的信息做精细化操作

(3)hive数据库表结构:

2、数据分析:在HIVE统计下列数据。

(1)统计最受欢迎的视频/文章的Top10访问次数 (video/article)

(2)按照地市统计最受欢迎的Top10课程 (ip)

(3)按照流量统计最受欢迎的Top10课程 (traffic)

3、数据可视化:

将统计结果倒入MySql数据库中,通过图形化展示的方式展现出来。

 

posted @ 2022-10-18 20:54  神秘人来访  阅读(34)  评论(0)    收藏  举报