随笔分类 -  spark

spark的坑
本地idea运行spark,A master URL must be set in your configuration
摘要:原谅我很白 Run->Edit Configurations 当然也可以SparkSession.master("local"),不过有一个缺点,如果部署到yarn上,这行代码要注释点(不知道java有没有.net中条件编译#debug这种方式) 阅读全文

posted @ 2018-07-28 10:52 糖炒栗子踩坑记 阅读(2768) 评论(0) 推荐(0)

第一个坑:无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries (starting from 0)!
摘要:这个代码是我从mac上编译通过的,但是换到了linux上,再用intellij idea跑,挂了。。。 问题很简单,记住就行了,加一句就好 conf.set("spark.driver.host", "localhost");(就是注释掉那段) 先记下来,我再找找这个有没有配置: 阅读全文

posted @ 2018-07-22 09:14 糖炒栗子踩坑记 阅读(2943) 评论(0) 推荐(0)

导航