2024年7月12日
Linux命令行之文本处理awk
摘要： 处理有分隔符的文本文档，默认分隔符是空格。 awk的一些内置变量 NF：字段数量（Number of Fields） NR：当前记录号（Number of Records） $0：当前记录（整行） $1, $2, ...：当前记录的第1个、第2个等字段 FS：字段分隔符（Field Separato 阅读全文
posted @ 2024-07-12 18:29 瑾明达 阅读(32) 评论(0) 推荐(0)
spark-submit提交任务时执行流程（简单版）
摘要： 1. yarn cluster模式提交spark任务 （1）执行脚本提交任务，实际是启动一个SparkSubmit的JVM进程。 （2）SparkSubmit类中的main方法反射调用YarnClusterApplication的start方法【在spark3.4.3中是start方法】。 （3）Y 阅读全文
posted @ 2024-07-12 18:12 瑾明达 阅读(453) 评论(0) 推荐(0)