摘要： 一条消费成功被消费经历了生产者->MQ->消费者，因此在这三个步骤中都有可能造成消息丢失。 一 消息生产者没有把消息成功发送到MQ 1.1 事务机制 AMQP协议提供了事务机制，在投递消息时开启事务支持，如果消息投递失败，则回滚事务。 自定义事务管理器 @Configuration public c 阅读全文

摘要： addFile(path, recursive=False) 把文件分发到集群中每个worker节点，然后worker会把文件存放在临时目录下，spark的driver和executor可以通过pyspark.SparkFiles.get()方法来获取文件的路径，从而能够保证driver和每个wor 阅读全文

摘要： 引子准备工作面试历炼小结 从每一段经历中学习，在每一件事情中修行。善于从失败中学习。 引子 我今年 36 岁，已有 8 年 JAVA 开发经验。在阿里云三年半，有赞四年半，已是标准的大龄程序员了。 在多年的读书、学习和思考中，我的价值观、人生观和世界观也逐步塑造成型。我意识到自己的志趣在于做教育文化 阅读全文

摘要： 简介： SparkStreaming是一套框架。 SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理。 支持多种数据源获取数据： Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结 阅读全文

摘要： 阅读目录 Spark 特点 Spark的适用场景 Spark成功案例 导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验 阅读全文

摘要： 每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec 阅读全文

摘要： 如何在Spark集群的work节点上启动多个Executor? 默认情况下，Spark集群下的worker，只会启动一个Executor，只运行了一个 CoarseGrainedExecutorBackend 进程。Worker 通过持有 ExecutorRunner 对象来控制 CoarseGra 阅读全文

摘要： spark里面算子里面使用外部变量和BroadCast变量的区别： 1、如果在算子里面使用外部变量，spark会将外部变量复制多个副本，通过网络传输到每一个task里面去(也就是说，此时的外部变量是task级别的) 2、BroadCast变量，使用spark的广播功能进行广播，广播之后保障每个exe 阅读全文

摘要： Spark 广播变量（broadcast）更新方法更新方法spark 广播变量可以通过unpersist方法删除，然后重新广播 1 2 3 4 5 6 7 val map = sc.textFile("/test.txt").map(line => { val arr = line.split(", 阅读全文

摘要： reduce()——规约操作，包含reduceLeft()和reduceRight()两种操作。 fold()——折叠操作，包含foldLeft()和foldRight()两种操作。 两者功能相似，不同之处在于： fold()操作需要从一个初始值开始，并以该值作为上下文，处理集合中的每个元素。 re 阅读全文