摘要:
行转列函数:explode(col_name) 案例 array 行转列 create table `users`.`t_view`(pageid string,adid_list array<int>)row format delimitedfields terminated by '\t'col 阅读全文
摘要:
举个栗子帮助理解 ▌场景:小星与阿呆即时聊天中 阿呆:小星,今天来我家玩,来的路上,有一家披萨店,很好吃,顺便带一点哈。 小星:哦,要不你来我家玩吧,你顺便带上披萨。 阿呆:小星,你竟然都这么说了,看来只能抛硬币解决了。 小星:丫的,这个怎么抛,我怎么知道你有没有搞鬼。 阿呆:嗯,那到也是,要不这样 阅读全文
摘要:
1.1 什么是大数据 主要解决:海量数据的存储和海量数据的分析计算问题 大数据中的存储单位:bit,byte,KB,MB,GB,TB,PB,EB,ZB 1byte = 8bit 1KB = 1024byte 1MB = 1024KB 1GB = 1024MB 1TB = 1024GB ...... 阅读全文
摘要:
Flume介绍 Flume是Cloudera 开发的框架,它是用来进行数据和日志的收集工具,它采用的是实时的收集数据(比如:一号店,美团等都用Flume)。组合的架构一般有Kafka/flume + storm / spark streaming Flume的分布式概念 我可以收集很多服务器上的日志 阅读全文
摘要:
第1题 表结构:uid,subject_id,score 求:找出所有科目成绩都大于某一学科平均成绩的学生 数据集如下 1001 01 901001 02 901001 03 901002 01 851002 02 851002 03 701003 01 701003 02 701003 03 85 阅读全文