王怀宇 - 博客园

2019年9月6日

摘要：（1）进入spark （2）创建RDD 或者（3）map实例 1. 作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 2. 需求：创建一个1-10数组的RDD，将所有元素*2形成新的RDD （4）mapPartitions(func) 案例 1. 作用：类似于map，但阅读全文

posted @ 2019-09-06 16:54 王怀宇阅读(5713) 评论(0) 推荐(0) 编辑

软件工程培训第五天（hive进阶）

摘要：一、学习过程今天的将可内容仍然是hive的延伸，老师为我们讲诉了更高级的使用方式，如窗口函数，rank函数等，为我们讲解了一些比较复杂的查询语句，在讲完之后老师为我们留了一些联系和一个大作业。二、总结今天我再一次发现了hive的强大，他的查询语句在某些方面比sql语句更加的强大，更加灵活，可以阅读全文

posted @ 2019-09-06 07:53 王怀宇阅读(151) 评论(0) 推荐(0) 编辑

2019年9月5日

hive窗口函数

摘要： 1．相关函数说明 OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， U 阅读全文

posted @ 2019-09-05 18:05 王怀宇阅读(194) 评论(0) 推荐(1) 编辑

hive操作（行转列，列转行）

摘要：一、行转列 1．相关函数说明 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔阅读全文

posted @ 2019-09-05 14:58 王怀宇阅读(11701) 评论(0) 推荐(1) 编辑

Hive中使用case then分情况求和

摘要： 1. 数据准备（tab分割不要用空格）悟空 A 男大海 A 男宋宋 B 男凤姐 A 女婷姐 B 女婷婷 B 女 2．需求求出不同部门男女各多少人。结果如下： 3．新建文件将上述内容写入 4．在hive创建数据表 5．按需求查询 6.结果显示阅读全文

posted @ 2019-09-05 14:27 王怀宇阅读(944) 评论(0) 推荐(0) 编辑

hive分组排序（rank函数+partiton实现）

摘要： Rank 1．函数说明 RANK() 排序相同时会重复，总数不会变 DENSE_RANK() 排序相同时会重复，总数会减少 ROW_NUMBER() 会根据顺序计算 2．数据准备（手巧时切记用tab分开，不要用空格，会报错0 孙悟空语文 87孙悟空数学 95孙悟空英语 68大海语文 94大海阅读全文

posted @ 2019-09-05 13:57 王怀宇阅读(5128) 评论(0) 推荐(1) 编辑

2019年9月4日

软件工程培训第四天总结，hive的学习

摘要：一、学习过程今天的主要内容时hive的使用学习，从开始老师为我们讲解了hive的性质和来源以及他的运行流程。然后老师为我们讲了hive的安装，安装成功后老师按照之前发过的文档，逐条的为我们解释hive的使用方式，并为我们讲解例题。二、总结今天我学到hive的使用方式以及一些使用hive查询数据阅读全文

posted @ 2019-09-04 19:00 王怀宇阅读(143) 评论(0) 推荐(0) 编辑

hive小知识（分区&分桶；内部表&外部表）

摘要：（一）内部表&外部表未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认阅读全文

posted @ 2019-09-04 16:54 王怀宇阅读(528) 评论(0) 推荐(0) 编辑

Hive操作（集合操作，删除表操作）

摘要：（一）集合数据类型数据类型描述语法示例 STRUCT 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP MAP 阅读全文

posted @ 2019-09-04 16:09 王怀宇阅读(2525) 评论(0) 推荐(1) 编辑

2019年9月3日

mapreduce序列化操作

摘要： 1. 需求统计每一个手机号耗费的总上行流量、下行流量、总流量（1）输入数据（2）输入数据格式： 7 13560436666 120.196.100.99 1116 954 200 id 手机号码网络ip 上行流量下行流量网络状态码 7 13560436666 120.196.100.99 阅读全文

posted @ 2019-09-03 20:53 王怀宇阅读(504) 评论(0) 推荐(0) 编辑

(?ω?)

Android

公告