mappler

摘要： spark中默认的视图的生命周期仅为当前session会话,会话结束视图消失 // Register the DataFrame as a SQL temporary view df.createOrReplaceTempView("people") val sqlDF = spark.sql("S 阅读全文

摘要： 文章转自：https://www.cnblogs.com/zzhangyuhang/p/9792794.html // 背景：maxcompute中exists子查询中无法访问外部表数据，改为join则计算时间过长 1、联系 他们都是 hive join 方式的一种，join on 属于 commo 阅读全文

摘要： hive的UDTF函数是可以输入一行数据然后输出多行多列(可以是单行/单列)的函数 1 public class Tex extends GenericUDTF { 2 3 /** 4 * 对传入的参数进行初始化 5 * 判断参数个数/类型 6 * 初始化表结构 7 */ 8 @Override 9 阅读全文

摘要： 自定义udaf函数的代码框架 1 //首先继承一个类AbstractGenericUDAFResolver,然后实现里面的getevaluate方法 2 public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters) throws Se 阅读全文

摘要： 建表 create external table if not exists hive2hbase( id int, > 对应hbase的rowkey (即下面的:key) age int, > 按顺序对应hbase中列值的value name string ) stored by 'org.apa 阅读全文

摘要： hdfs和hbase的交互,和写MapReduce程序类似,只是需要修改输入输出数据和使用hbase的javaAPI对其进行操作处理即可 public class HBaseToHdfs extends ToolRunner implements Tool { private Configurati 阅读全文