摘要：监控配置 ​ kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句： ​ 在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker 阅读全文

摘要：Spark优化配置 1. 添加外包路径 1.1 1.2 spark submit时配置参数 2. spark submit时的参数配置 Kafka+Scala的参数配置 1. auto.offset.reset值含义解释 earliest 当各分区下有已提交的offset时，从提交的offset开始 阅读全文

摘要：存储方式 |方式|方式来源|存储位置|优点|缺点| | | | | |自动提交|kafka|kafka|Spark应用从kafka中读取数据之后就自动提交|不是数据处理之后提交，无法控制| |异步提交|kafka|kafka|Spark应用从kafka中读取数据并处理好之后提交offset|如果ka 阅读全文