Thinking in BigData

摘要： 问题 有一个发送100w短信的任务，如何尽量缩短发送时间，同时在中途因为各种原因任务挂掉时，比如发送完50w时任务挂掉，重启任务之后只发送剩余50w短信？ 这是一个比较通用的问题，容易想到的办法是： 方案一 步骤 使用数据库来存放所有数据（比如100w条待发送短信），同时设置status，未处理是0 阅读全文

摘要： Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程： hadoop 225 阅读全文