摘要:
问题 有一个发送100w短信的任务,如何尽量缩短发送时间,同时在中途因为各种原因任务挂掉时,比如发送完50w时任务挂掉,重启任务之后只发送剩余50w短信? 这是一个比较通用的问题,容易想到的办法是: 方案一 步骤 使用数据库来存放所有数据(比如100w条待发送短信),同时设置status,未处理是0 阅读全文
posted @ 2018-10-20 10:21
匠人先生
阅读(1422)
评论(0)
推荐(1)
摘要:
Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令: spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程: hadoop 225 阅读全文
posted @ 2018-10-20 10:08
匠人先生
阅读(3329)
评论(0)
推荐(0)