| | | |

2020年4月25日

摘要： 1 package com.day07 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 object PV { 7 def main(args: Array[Str 阅读全文

posted @ 2020-04-25 19:09 八旗格格的家阅读(172) 评论(0) 推荐(0)

2020年4月24日

算子

摘要： 1 package com.xujunqi.spack 2 3 import org.apache.spark.{SparkConf, SparkContext} 4 5 //练习3：交集、并集 6 object JiaojiAndBingji { 7 def main(args: Array[St 阅读全文

posted @ 2020-04-24 20:38 八旗格格的家阅读(196) 评论(1) 推荐(0)

2020年4月13日

hive分区

摘要： 1 4.6.1 分区表基本操作 2 1．引入分区表（需要根据日期对日志进行管理） 3 /user/hive/warehouse/log_partition/20170702/20170702.log 4 /user/hive/warehouse/log_partition/20170703/2017 阅读全文

posted @ 2020-04-13 21:55 八旗格格的家阅读(151) 评论(0) 推荐(0)

2020年4月9日

使用HDFS的JavaApi,实现文件的新建上传和下载

摘要： 1 package com.xujunqi.month2a; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.FileSystem; 5 import org.apache.hadoop.f 阅读全文

posted @ 2020-04-09 17:32 八旗格格的家阅读(612) 评论(0) 推荐(0)

下是各省某年降雨量采集的部分数据，计算各省总降雨量，按照降雨量从高到低输出省名、白天降雨量、晚上降雨量

摘要： 1 省名、白天降雨量、晚上降雨量 2 广东省 262 513 3 黑龙江省 272 542 4 辽宁省 599 381 5 贵州省 426 267 6 陕西省 189 256 7 河北省 465 250 8 广东省 121 129 9 湖南省 127 491 10 湖南省 395 373 11 甘肃阅读全文

posted @ 2020-04-09 17:12 八旗格格的家阅读(633) 评论(0) 推荐(0)

以下为驾校科目一模拟考试App用户进行测试的部分数据，请按要求完成统计

摘要： 1 用户ID 试卷编号考试时间分数 2 user001 test1 2016-01-01 80 3 user001 test2 2016-01-03 23 4 user001 test3 2016-01-05 56 5 user001 test4 2016-01-07 55 1 package 阅读全文

posted @ 2020-04-09 17:06 八旗格格的家阅读(138) 评论(0) 推荐(0)

2020年4月8日

针对以下订单数据，计算每一个订单中成交金额最大的一笔交易，样例日志内容如下：

摘要：需求如下：针对以下订单数据，计算每一个订单中成交金额最大的一笔交易，样例日志内容如下： Order_0000001,Pdt_01,222.8Order_0000001,Pdt_05,25.8Order_0000002,Pdt_03,522.8Order_0000001,Pdt_04,122.4Ord 阅读全文

posted @ 2020-04-08 14:49 八旗格格的家阅读(488) 评论(0) 推荐(0)

需求：计算每一年出现过的最高气温

摘要： 1 package com.month10b.weather; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.Path; 5 import org.apache.hadoop.io.Int 阅读全文

posted @ 2020-04-08 14:46 八旗格格的家阅读(253) 评论(0) 推荐(0)

2020年4月7日

窗口函数

摘要： 1,19,a,male 2,19,b,male 3,22,c,female 4,16,d,female 5,30,e,male 6,26,f,female + + + + +--+ | t_student.id | t_student.age | t_student.name | t_student 阅读全文

posted @ 2020-04-07 19:34 八旗格格的家阅读(115) 评论(0) 推荐(0)

两张数据表，表一学生编号姓名；表二生编号、考试科目、考试成绩；编写mapreduce程序，汇总两张表数据为一张统一表格

摘要： 1 package com.liuhuan; 2 3 import org.apache.hadoop.io.WritableComparable; 4 5 import java.io.DataInput; 6 import java.io.DataOutput; 7 import java.io 阅读全文

posted @ 2020-04-07 18:01 八旗格格的家阅读(368) 评论(0) 推荐(0)