摘要：
spark 运行模式 0.spark-submit提交参数说明 --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE driver运行之处，client运 阅读全文
posted @ 2021-06-23 15:22
是阿凯啊
阅读(203)
评论(0)
推荐(0)
摘要：
spark+hadoop错误相关记录： 错误1：java.lang.Exception: Unknown container. Container either has not started ...Yarn 在我通过运行spark提交yarn任务，在hadoop平台查看日志报错java.lang. 阅读全文
posted @ 2021-06-23 13:46
是阿凯啊
阅读(390)
评论(0)
推荐(0)
摘要：
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 阅读全文
posted @ 2021-06-23 11:30
是阿凯啊
阅读(333)
评论(0)
推荐(0)
摘要：
Spark分区 1分区： 自定义分区在对RDD数据进行分区时，默认使用的是 HashPartitioner，该partitioner对key进行哈希，然后mod 上分区数目，mod的结果相同的就会被分到同一个partition中如果嫌HashPartitioner 功能单一，可以自定义partiti 阅读全文
posted @ 2021-06-23 09:44
是阿凯啊
阅读(594)
评论(0)
推荐(0)
浙公网安备 33010602011771号