上一页 1 ··· 6 7 8 9 10 11 12 13 14 下一页
摘要: 1.Properties set directly on the SparkConf take highest precedence, 2.then flags passed to spark-submit or spark-shell, 3.then options in the spark-de 阅读全文
posted @ 2017-06-09 15:02 静若清池 阅读(2817) 评论(0) 推荐(0) 编辑
摘要: 1.resilient distributed dataset (RDD) The core programming abstraction in Spark, consisting of a fault-tolerant collection of elements that can be ope 阅读全文
posted @ 2017-06-07 18:27 静若清池 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后,发现产生了异常: 如果消息体太大了,超过 fetch.message.max.bytes=1m的默认配置,那么Spark Streaming会直接抛出OffsetOut 阅读全文
posted @ 2017-06-07 16:17 静若清池 阅读(4139) 评论(1) 推荐(0) 编辑
摘要: 参数名称 含义 --master MASTER_URL yarn --deploy-mode DEPLOY_MODE Driver程序运行的地方:client、cluster --class CLASS_NAME The FQCN of the class containing the main m 阅读全文
posted @ 2017-06-06 18:25 静若清池 阅读(8284) 评论(0) 推荐(0) 编辑
摘要: 参数名称 含义 --master MASTER_URL spark://host:port --deploy-mode DEPLOY_MODE Driver程序运行的地方:client、cluster,默认是client --class CLASS_NAME 应用程序主类名称,含包名 --name 阅读全文
posted @ 2017-06-06 18:11 静若清池 阅读(952) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://www.cnblogs.com/moonandstar08/p/5759137.html Scala的有即Any,Scala的无是Null、null、Nil、Nothing、None、Unit.那么这几种空有什么区别呢? 一、Null&null 很多人一辈子都没有走出这个无。 阅读全文
posted @ 2017-06-02 10:57 静若清池 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 1.下载Windows版的NetCat https://eternallybored.org/misc/netcat/ 2.启动NetCat nc -l -p 9999 3.将SAPRK_HOME\conf\log4j.properties拷贝到项目根目录下,将“INFO”改为“ERROR”,保证只 阅读全文
posted @ 2017-05-28 22:50 静若清池 阅读(701) 评论(0) 推荐(0) 编辑
摘要: 一、定义DateTime Message 参考文档:https://github.com/mgravell/protobuf-net/blob/master/src/Tools/bcl.proto DateTime中包含两个属性:value,TimeSpanScale;value为时间值,TimeS 阅读全文
posted @ 2017-05-28 19:18 静若清池 阅读(1328) 评论(0) 推荐(0) 编辑
摘要: 使用spark-submit提交local任务时,会输出很多Info信息: 可以修改log4j的日志级别,只输出关键信息: 1.修改$SPARK_HOME/conf/log4j.properties 如果有log4j.properties.template,则复制一份为log4j.propertie 阅读全文
posted @ 2017-05-26 17:13 静若清池 阅读(1353) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://blog.csdn.net/dabokele/article/details/52602412 根据Spark官方文档中的描述,在Spark Streaming应用中,一个DStream对象可以调用多种操作,主要分为以下几类 Transformations Window Op 阅读全文
posted @ 2017-05-25 23:46 静若清池 阅读(212) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 下一页