我从二院来

摘要： 朋友的公司做的是西南某边境省份网红新能源车的数据处理，由于新能源车的火爆，从年初从现在，数据量已经翻番。但与此同时，服务器却没有多少增加。无奈之下，只能暂时将kafka的数据存储时间由之前的1天改为6小时，5小时。其实有点危险，如果在凌晨发生什么异常生产事故导致实时任务退出，如果运维没有及时通知，导 阅读全文

摘要： 因为在一篇博文上看到介绍“汽车之家介绍flink数据平台”中提到“基于 SQL 的开发流程”。基于kafka connector，通过source,sink,transformation三条sql完成数据接入，逻辑转换处理，结果落地三步工作。出于兴趣，自己去简(粗)单（糙）实现了这其中的一个小功能。 阅读全文

摘要： 一.在二次排序当中的应用 1.1 说到排序当然第一想到的就是sort by和order by这两者的区别，也分情况。 在算子当中，两者没有区别，orderby()调用的也是sort。order by就是sort的别名。 /** * Returns a new Dataset sorted by th 阅读全文

摘要： ###起因 临下班，偶然看到阿里巴巴《JAVA开发手册》中，关于整型包装类对象之间值的比较的规约，里面提到强制使用equals,而不使用==。原因众所周知，在-128 至 127，Integer 对象是在 IntegerCache.cache 产生。 所以很多人会在代码里使用去进行-128 至 12 阅读全文

摘要： ###起因 事情的起因，是看到一篇公众号文章Apache Flink 在汽车之家的应用与实践，里面提到了“基于 SQL 的开发流程”。在平台提供以上功能的基础上，用户可以快速的实现 SQL 作业的开发： 创建一个 SQL 任务； 1.编写 DDL 声明 Source 和 Sink； 2.编写 DML 阅读全文

摘要： ###1.前言 这个题目有点大。工作也有些年头，从开始入行的被动接受，什么流行就学什么;到有一些想法，会去思考为什么使用这种技术;再到主动去学习一些前沿框架。从开始的不理解，事不关已高高挂起，不在其位不谋其政；到也成为了团队中的中坚力量，去据理力争应该使用某些技术，把觉得好的技术安利给同事，试图引入 阅读全文

摘要： 本文主要是指spark+kafka，不包括flink。 摘要 > 1.spark streaming有限速（max rate），有反压(back pressure)。 2.structured streaming没有反压，只有限速。 ###1.为什么要限速和反压 一个spark集群，资源总是有限。如 阅读全文

摘要： 版本号： spark 2.3 structured streaming代码 ###异常信息 KafkaSource[Subscribe[test]] at org.apache.spark.sql.execution.streaming.StreamExecution.org$apache$spar 阅读全文

摘要： 使用idea编写spark程序，想要查看源代码，点进去是compiled code ``` private[sql] def this(sc : org.apache.spark.SparkContext) = { /* compiled code */ } def version : scala. 阅读全文

摘要： structed streaming的执行批次，较spark streaming有所改变。更加灵活。总结下来，可大白话地分为三类: 1尽可能快的执行，不定时间 2按固定间隔时间执行 3仅执行一次 详情如下： Trigger类型 使用 注意 unspecified (default) as soon 阅读全文