随笔分类 - Kafka
摘要：网上有铺天盖地的文章，介绍如何将Kafka同时配置成公网地址、内网地址，以实现内外网分流，看着都很成功。 但我们通过Flume消费一个配置了内外网分流的Kafka（版本0.10.1）集群时遇到了坑，却没有从现有的文章中找到解决方案。 如果使用公有云服务，一般一台虚拟机只有一块网卡，这时内外网分流的K
阅读全文
摘要：Flink1.4.0连接部署在Linux上的Kafka0.10.2时，报如下异常： 根据提示，设置如下配置后，问题解决：
阅读全文
摘要：经过三年多的快速发展，特来电云平台从无到有，从有到强，从强到精，在应用实践中不断打磨完善，逐渐成长为国内乃至国际充电网领域的标杆，支撑了每天300余万度，总量8亿余度的充电量。这背后既有云平台沉淀出的技术创新性与前瞻性，也有云平台研发人员刨根问底追求卓越的精神，更有运维系统及运维人员枕戈待旦默默付出
阅读全文
摘要：一、软件版本 Kafka：0.8.2.1 KafkaManager：1.2.9.10 二、问题现象 点击Consumer下某个组，显示如下图所示的异常： 查看KafkaManager的Application.log，有如下异常信息: 使用zkCli.cmd查看，如下图所示： 只有一个offsets，
阅读全文
摘要：基于Flink进行秒级计算时，发现监控图表中CPU有数据中断现象，通过一段时间的跟踪定位，该问题目前已得到有效解决，以下是解决思路： 一、问题现象 以SQL02为例，发现本来10秒一个点的数据，有时会出现断点现象，会少1-2个点甚至更多： 二、问题定位 针对该问题，根据数据处理链路，制定了数据输出跟
阅读全文
摘要：随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企
阅读全文
摘要：Flink提供了FlinkKafkaConsumer08，使用Kafka的High-level接口，从Kafka中读取指定Topic的数据，如果要从多个Topic读取数据，可以如下操作： 1.application.conf中配置 如果使用了配置管理库typesafe.config，可以在其appl
阅读全文
摘要：众所周知，Structured Streaming默认支持Kafka 0.10，没有提供针对Kafka 0.8的Connector，但这对高手来说不是事儿，于是有个Hortonworks的邵大牛（前段时间刚荣升Spark Committer）给出了一个开源的第三方解决方案： 不过下载下来后，编译不通
阅读全文
摘要：参考文章：http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后，发现产生了异常： 如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOut
阅读全文
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文：http:/
阅读全文
摘要：1.不能安装在有空格的路径上 比如：D:\Program Files 2.设置日志路径时，要用“/”，不能用Windows上的“\”，比如： # A comma seperated list of directories under which to store log files log.dirs
阅读全文
浙公网安备 33010602011771号