2016年12月13日
spark 大数据 LR测试
摘要： #!/bin/bash size="120Y*10W"date1=`date +%F_%H-%M-%S`config="spark-submit \ --jars /data0/work_space/service/spark-2.0.0-bin-hadoop2.4/jars/hadoop-lzo- 阅读全文
posted @ 2016-12-13 14:44 澄轶(程毅) 阅读(896) 评论(0) 推荐(0)
spark - tasks is bigger than spark.driver.maxResultSize
摘要： Error Cause caused by actions like RDD’s collect() that send big chunk of data to the driver（不一定是因为RDD的问题哦~） Solution set by SparkConf: conf.set("spar 阅读全文
posted @ 2016-12-13 12:02 澄轶(程毅) 阅读(13609) 评论(0) 推荐(0)