☆☆☆★☆☆☆

唯有努力才能活成自己想要活成的样子

导航

随笔分类 -  spark使用

azkaban 提交任务编写案例(flow 2.0)
摘要:config: #导出数据任务 user.to.proxy: foo day: $(new("org.joda.time.DateTime").minusDays(1).toString("yyyyMMdd")) jarPATH: ${working.dir}/jars/algorithm-fram 阅读全文

posted @ 2023-11-23 16:07 Yr-Zhang 阅读(85) 评论(0) 推荐(0)

spark代码示例---explode()炸裂函数使用
摘要:数据结构,及bean的结构 root |-- eventName: string (nullable = true) |-- itmeList: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- d 阅读全文

posted @ 2023-11-02 12:54 Yr-Zhang 阅读(610) 评论(0) 推荐(0)

spark使用记录
摘要:单词统计的示例 1:客户端登录 2:使用链式编程输出结果文件 sc.textFile("hdfs://bda1node01.sqtxj.com:8020/txj/resources/chedai/chedai.csv").flatMap(_.split(",")).map((_,1)).reduce 阅读全文

posted @ 2023-10-27 09:27 Yr-Zhang 阅读(14) 评论(0) 推荐(0)