06 2017 档案

使用WebEx录制视频并转换为MP4
摘要：1.下载并安装WebEx http://www.question-defense.com/wp-content/uploads/2010/05/ateditor-version-3.0.zip 2.打开WebEx Recorder，录制视频 选择好要录制的PPT后，点击下面的按钮开始录制： 相关快捷 阅读全文
posted @ 2017-06-15 10:21 静若清池 阅读(17063) 评论(0) 推荐(0)
Spark配置参数优先级
摘要：1.Properties set directly on the SparkConf take highest precedence, 2.then flags passed to spark-submit or spark-shell, 3.then options in the spark-de 阅读全文
posted @ 2017-06-09 15:02 静若清池 阅读(3250) 评论(0) 推荐(0)
Spark术语
摘要：1.resilient distributed dataset (RDD) The core programming abstraction in Spark, consisting of a fault-tolerant collection of elements that can be ope 阅读全文
posted @ 2017-06-07 18:27 静若清池 阅读(394) 评论(0) 推荐(0)
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
摘要：参考文章：http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后，发现产生了异常： 如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOut 阅读全文
posted @ 2017-06-07 16:17 静若清池 阅读(4445) 评论(1) 推荐(0)
spark-submit参数说明--on YARN
摘要：参数名称 含义 --master MASTER_URL yarn --deploy-mode DEPLOY_MODE Driver程序运行的地方：client、cluster --class CLASS_NAME The FQCN of the class containing the main m 阅读全文
posted @ 2017-06-06 18:25 静若清池 阅读(9411) 评论(0) 推荐(0)
spark-submit参数说明--standalone
摘要：参数名称 含义 --master MASTER_URL spark://host:port --deploy-mode DEPLOY_MODE Driver程序运行的地方：client、cluster，默认是client --class CLASS_NAME 应用程序主类名称，含包名 --name 阅读全文
posted @ 2017-06-06 18:11 静若清池 阅读(1079) 评论(0) 推荐(0)