2015 年 12月 5 日随笔档案 - 松伯

2015年12月5日

摘要：在生产者／消费者模型中，生产者Producer负责生产数据，而消费者Consumer负责使用数据。多个生产者线程会在同一时间运行，生产数据，并放到内存中一个共享的区域。期间，多个消费者线程读取内存共享区，消费里面的数据。分析在下面Java应用程序中，生产者线程向一个线程安全的堆栈缓冲区中写（PUSH... 阅读全文

posted @ 2015-12-05 21:37 松伯阅读(2318) 评论(0) 推荐(0)

Spark on yarn配置项说明与优化整理

摘要：配置于spark-default.conf 1. #spark.yarn.applicationMaster.waitTries 5 用于applicationMaster等待Spark master的次数以及SparkContext初始化尝试的次数 (一般不用设置)2.spark.yarn.am... 阅读全文

posted @ 2015-12-05 11:36 松伯阅读(9760) 评论(0) 推荐(1)