随笔分类 -  Scala

Flink升级到1.4版本遇到的坑
摘要：Flink 1.4没出来以前，一直使用Flink 1.3.2，感觉还算稳定，最近将运行环境升级到1.4，遇到了一些坑： 1.需要将可运行程序，基于1.4.0重新编译一次 2.对比了一下flink-conf.yml中的配置，发现一处不同点： # The port under which the web 阅读全文
posted @ 2017-12-18 15:01 静若清池 阅读(4257) 评论(1) 推荐(0)
基于Flink秒级计算时CPU监控图表数据中断问题
摘要：基于Flink进行秒级计算时，发现监控图表中CPU有数据中断现象，通过一段时间的跟踪定位，该问题目前已得到有效解决，以下是解决思路： 一、问题现象 以SQL02为例，发现本来10秒一个点的数据，有时会出现断点现象，会少1-2个点甚至更多： 二、问题定位 针对该问题，根据数据处理链路，制定了数据输出跟 阅读全文
posted @ 2017-12-03 22:31 静若清池 阅读(2200) 评论(6) 推荐(0)
特来电监控引擎流计算应用实践
摘要：随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企 阅读全文
posted @ 2017-11-06 18:04 静若清池 阅读(3504) 评论(10) 推荐(8)
使用Flink时遇到的问题（不断更新中）
摘要：1.Jobmanager启动不起来 现象1：查看JobManager日志： WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(41213) 评论(4) 推荐(1)
Flink从Kafka 0.8中读取多个Topic时的问题
摘要：Flink提供了FlinkKafkaConsumer08，使用Kafka的High-level接口，从Kafka中读取指定Topic的数据，如果要从多个Topic读取数据，可以如下操作： 1.application.conf中配置 如果使用了配置管理库typesafe.config，可以在其appl 阅读全文
posted @ 2017-09-05 16:57 静若清池 阅读(7927) 评论(0) 推荐(0)
停止Flink任务
摘要：1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令，需要知道Flink的Job ID 阅读全文
posted @ 2017-09-05 14:06 静若清池 阅读(5419) 评论(0) 推荐(0)
Structured Streaming从Kafka 0.8中读取数据的问题
摘要：众所周知，Structured Streaming默认支持Kafka 0.10，没有提供针对Kafka 0.8的Connector，但这对高手来说不是事儿，于是有个Hortonworks的邵大牛（前段时间刚荣升Spark Committer）给出了一个开源的第三方解决方案： 不过下载下来后，编译不通 阅读全文
posted @ 2017-09-04 21:55 静若清池 阅读(801) 评论(0) 推荐(0)
使用Flink时从Kafka中读取Array[Byte]类型的Schema
摘要：使用Flink时，如果从Kafka中读取输入流，默认提供的是String类型的Schema： 如果存入Kafka中的数据不是JSON，而是Protobuf类型的数据，需要用二进制的Schema进行接收，可以自己实现一个类，很简单，只有一行代码： 然后使用时，如下所示： 阅读全文
posted @ 2017-08-29 15:41 静若清池 阅读(5411) 评论(0) 推荐(0)
修改Intellij IDEA中工程对应的Java SDK、Scala SDK
摘要：如果编译Scala工程时，遇到如下异常： 很可能是工程的scala版本，和依赖的包的版本不一致，这时候需要将工程的版本，调整为和依赖的包的版本一致，以下是解决方案： 1.选中工程，从File中选择Project Structure，如下所示： 或者直接点击右上角的“Project Structure 阅读全文
posted @ 2017-08-29 11:32 静若清池 阅读(10641) 评论(0) 推荐(0)
Ignite与Spark集成时，ClassNotFoundException问题解决
摘要：参考文章：https://apacheignite-fs.readme.io/docs/installation-deployment Spark application deployment model allows dynamic jar distribution during applicat 阅读全文
posted @ 2017-08-24 14:08 静若清池 阅读(629) 评论(0) 推荐(0)
Spark2.2.0分布式集群安装（StandAlone模式）
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 二、文件准备 2.1 文件名称 spark-2.2 阅读全文
posted @ 2017-08-11 00:27 静若清池 阅读(800) 评论(0) 推荐(0)
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
摘要：参考文章：http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后，发现产生了异常： 如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOut 阅读全文
posted @ 2017-06-07 16:17 静若清池 阅读(4456) 评论(1) 推荐(0)
Local模式下Spark程序只输出关键信息
摘要：使用spark-submit提交local任务时，会输出很多Info信息： 可以修改log4j的日志级别，只输出关键信息： 1.修改$SPARK_HOME/conf/log4j.properties 如果有log4j.properties.template，则复制一份为log4j.propertie 阅读全文
posted @ 2017-05-26 17:13 静若清池 阅读(1483) 评论(0) 推荐(0)
SparkStreaming官方示例程序运行方式
摘要：一、前置条件 安装NetCat（有“瑞士军刀”之称，简称nc），输入如下命令： 二、方式一：直接运行官方Example 2.1 打开一个shell，输入命令：nc -lk 9999 2.2 打开另一个shell，切换到SPARK_HOME/bin目录，输入命令： 三、方式二：spark-shell 阅读全文
posted @ 2017-04-24 09:19 静若清池 阅读(3529) 评论(0) 推荐(0)
Kafka0.10.2.0分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文：http:/ 阅读全文
posted @ 2017-04-10 23:52 静若清池 阅读(1206) 评论(0) 推荐(0)
Spark2.1.0分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww 阅读全文
posted @ 2017-03-27 09:15 静若清池 阅读(6407) 评论(0) 推荐(0)
Linux下Scala（2.12.1）安装
摘要：一、文件准备 1.1 文件名称 scala-2.12.1.tgz 1.2 下载地址 http://www.scala-lang.org/download/2.12.1.html 二、工具准备 2.1 Xshell 一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Wi 阅读全文
posted @ 2017-03-26 22:42 静若清池 阅读(4622) 评论(0) 推荐(0)