青紫天涯

摘要： 代码调试过程中遇到的错误总结： 在代码编写的过程中，IDEA并没有自动识别方法Subscribe需要导入的jar包，但是该方法的jar已经有maven下载，在这个过程中，需要去查看jar类中的所有方法，手动去导入实现。 在import org.apache.spark.streaming.kafka 阅读全文

摘要： Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ 阅读全文

摘要： 一、kafka配置文件中相关配置项说明（server.properties） 创建启动kafka的综合脚本 配置KAFKA_HOME 创建一键启动脚本文件 创建三个脚本 给予权限 验证安装 我们的验证步骤有两个。 第一步，分别在三台机器上使用下面命令查看是否有 Kafka 和 zookeeper 相 阅读全文

摘要： kafka + sparkStreaming 有什么好处： 1、解耦 2、缓冲 （系统之间解耦合、峰值压力缓冲、异步通信） kafka消息队列的特点： 可靠性保证： 自己不丢数据，消费者不丢数据 消息系统的特点：生产者消费者模式 ，FIFO --partition内部是FIFO的，partition 阅读全文

摘要： Driver HA: 1、在提交application的时候，添加 --supervise 选项，如果Driver挂掉，会自动启动一个Driver 2、代码层面恢复Driver 3、在恢复checkpoint中数据的时候，把旧的逻辑也一起给恢复了 主要的作用就是当SparkStreaming 停机之 阅读全文

摘要： spark streaming 学习： spark streaming 与strom 的区别： Spark Streaming 与strom 的区别： 1、Strom是纯实时的流式处理框架，SparkStreaming 是准实时处理框架（微批处理），因为微批处理，SparkStreaming 的吞吐 阅读全文

摘要： UDAF函数用户自定义函数： 用java代码实现UDAF函数 UDAF函数实现时，方法UserDefinedAggregateFunction的八个需要实现方法的作用如上代码中注释，其中最重要的三个方法是： update： 对相同元素进行合并时，row个数的更新 merge： shuffer归并的时 阅读全文

摘要： 1、structField 源码结构： A field inside a StructTypename：The name of this field.dataType：The data type of this field.nullable：Indicates if values of this f 阅读全文

摘要： 一、spark连接mysql数据库的第一种方式： 二、第二种读取mysql数据的方式 三、第三种读取mysql 的方式 四、将spark中的数据传输到mysql数据库 一个重要的参数： 参数： spark.sql.shuffle.partitions指定sql执行时，解析成sparkjob的分区数。 阅读全文

摘要： 问题： 用java生成图片上传到linux服务器，中文出现乱码问题解决 思路： 查看本地java字符集编码格式 查看linux服务器字符集编码 如果编码格式不一致会导致程序在服务器运行时报错 解决： 1、查看linux服务器字符集编码格式： echo $LANG 修改linux服务器字符集编码格式的 阅读全文