摘要： 同事问了这么个问题： 370000_450000,440000_130000,450000_440000 这么一组城市id怎么转换成实际的城市名称对应关系，有一个维表会维护对应的关系。 记录下这个怎么写： select concat_ws(',',collect_list(concat(t2.col 阅读全文

摘要： 2021年5月开始找工作，面试了若干个数仓的岗位，面的差不多也就2个，总结下大致的面试内容 一、字节视频面，上海的一个部门，视频面挂，小伙伴内推的 这个5月份面的，大概视频面试了一个小时，主要面试内容 1、问了mapreduce的具体执行过程，这位面试官还问到了执行计划的东西，就是explain s 阅读全文

摘要： 题目1：有表table1,里面有2列，列a和列b，对应社区相互关注的用户，怎么找到相互关注的一组用户 答： select a ,b from ( select a ,b from table1 union all select b ,a from table1 ) t1 group by a ,b 阅读全文

摘要： 买这本书没有认真看完过，重新看下，记录下自己不会或者之前不用且模棱两可的知识点。 第三章：数据类型 3.1 hive的基本数据类型，是对java数据类型的实现，在hive中，如果是float和double数据类型比较，hive会隐式把float转换成double，即向上取 3.2 集合数据类型，st 阅读全文

摘要： 问题描述：事实表存储的类目id不确定是几级id；一共有三级类目，需要把类目信息维护进事实表，比如记录的是二级类目id，需要把一级类目数据维护进事实表。 一开始没有想到怎么搞，还是想了一会儿想了这么个处理方法： ods_classify原始业务库表，id就是各级的类目id，pid就是上一层级的类目id 阅读全文

摘要： 之前实际开发都是用的blink-sql模式，还没实际开发过streaming模式的作业，有个简单的例子，特意记录下 因为下游我们是odps，目前没有jar包，这个之后调通了再加上 作业描述： 上游是kafka，原始数据格式为json数组，输出为json对象，本地日志打印输出，source连接参照阿里 阅读全文

摘要： 需求内容，json对象需要新加一行数据 {"a":1} -> {"a":1,"b",2} 这个可以通过sql拼接进来，感觉不太严谨，如果有嵌套的json对象，可能识别会有问题，新写了一个函数。 我使用了GSON这个类 package udf; import com.aliyun.odps.udf.U 阅读全文

摘要： reduce聚合操作和hive的map-reduce框架中的reduce操作类似 个人理解：keyBy+Max这种算子和reduce算子的区别在于，reduce可以多字段聚合，前者只能单字段 reduce通过滚动计算取得当前最大值 由于之前数据集有时间乱序，出来的结果不够直观，这里调整下数据集 se 阅读全文

摘要： keyBy:将Stream根据指定的Key进行分区，是根据key的散列值进行分区的（和sql的group by类似） max:对数据聚合，取最大值，非聚合字段，返回的是第一次的值 maxBy:和max类似，但是在非聚合字段返回的是当前最大值 值得注意的是：这里的算子只能单字段聚合，另外的字段可以保留 阅读全文

摘要： 1、 数据集都是本地数据集，3个算子一起测试 map：个人理解就是1对1的输出，比如我传一个字符串，可以返回字符串的长度 flatmap：1对多的输出，传1个字符串，可以分割为3个字符串，但是流还是一个流(跟hive对比，就很像LATERAL VIEW这种函数，一个输入，多行输出，udtf) fil 阅读全文