11 2020 档案

【Spark学习笔记】广播变量和累加器
摘要：一、广播变量（调优操作） 使用广播变量是个调优操作，不使用广播变量可能会造成Executor端内存溢出。 1.普通变量定义 val rdd1: RDD[String] = sc.parallelize(Array[String]("Java", "C", "Python", "Hadoop", "S 阅读全文
posted @ 2020-11-30 23:59 yangyh11 阅读(151) 评论(0) 推荐(0)
使用Python脚本提交Spark任务到Yarn
摘要：背景：使用脚本管理Spark任务，正处于RUNNING状态的任务跳过，不提交 一、涉及到的知识点： 脚本不重要，重要的是知识点 1.查询yarn处于RUNNING状态的任务列表 yarn application -list -appStates RUNNING 2.在Python中使用Linux命令 阅读全文
posted @ 2020-11-30 00:29 yangyh11 阅读(904) 评论(0) 推荐(0)
Flink写HBase
摘要：需求：通过Flink处理流数据，处理结果写入HBase 实现：通过继承RichSinkFunction类，自定义Sink 1.常量类 public class HBaseConstant { public static final String TABLE_NAME = "tableName"; p 阅读全文
posted @ 2020-11-09 00:04 yangyh11 阅读(1062) 评论(0) 推荐(0)