随笔分类 -  spark

spark日常问题
摘要：1/ 在hue运行spark sql 报java.io.IOException: Failed to create local dir in /tmp/blockmgr-adb70127-0a28-4256-a205-c575acc74f9d/06. 参考: https://www.jianshu. 阅读全文

posted @ 2020-02-07 16:59 锋锋2019 阅读(1212) 评论(0) 推荐(0)

spark运行
摘要：阿里云:阿里spark作业配置:https://help.aliyun.com/document_detail/28098.html?spm=a2c4g.11186623.6.650.458d139f8c71x9 资源算法:https://help.aliyun.com/document_detai 阅读全文

posted @ 2020-01-14 21:23 锋锋2019 阅读(133) 评论(0) 推荐(0)

spark调优和日常维护
摘要：参考: 见spark PDF #spark官网参数: http://spark.apache.org/docs/2.4.3/configuration.html EMR配置: spark.executor.memory 6Gspark.driver.memory 8Gspark.driver.max 阅读全文

posted @ 2019-10-04 12:04 锋锋2019 阅读(298) 评论(0) 推荐(0)

spark原理
摘要：参考： G:\文档\大数据\第十天_spark spark在目前的大数据体系内，已经成为主力成员，主要的应用场景包括： 实时计算 机器学习 图计算 数据挖掘 Ad-hoc 原理: RDD:使用内存--基本处理单位RDD:弹性分布式数据集 spark处理的时候,处理的是RDD数据(相当于是将 阅读全文

posted @ 2019-10-04 12:03 锋锋2019 阅读(315) 评论(0) 推荐(0)

spark部署
摘要：cloudera官网spark:https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/spark.htmlspark官网:https://spark.apache.org/documentation.htmlCDH安装spar 阅读全文

posted @ 2019-10-04 10:51 锋锋2019 阅读(1260) 评论(0) 推荐(0)

导航