08 2017 档案

使用Flink时从Kafka中读取Array[Byte]类型的Schema
摘要：使用Flink时，如果从Kafka中读取输入流，默认提供的是String类型的Schema： 如果存入Kafka中的数据不是JSON，而是Protobuf类型的数据，需要用二进制的Schema进行接收，可以自己实现一个类，很简单，只有一行代码： 然后使用时，如下所示： 阅读全文
posted @ 2017-08-29 15:41 静若清池 阅读(5411) 评论(0) 推荐(0)
怎样在Spark、Flink应用中使用Protobuf 3的包
摘要：如果在在Spark、Flink应用中使用Protobuf 3的包，因为Spark默认使用的是2.5版本的包，提交任务时，可能会报如下异常： 针对Spark，可以使用SPARK_CLASSPATH或是指定 的方式解决，今天在调试Flink程序时，发现还有一种解决方式： If the uber JAR 阅读全文
posted @ 2017-08-29 15:15 静若清池 阅读(3933) 评论(0) 推荐(0)
修改Intellij IDEA中工程对应的Java SDK、Scala SDK
摘要：如果编译Scala工程时，遇到如下异常： 很可能是工程的scala版本，和依赖的包的版本不一致，这时候需要将工程的版本，调整为和依赖的包的版本一致，以下是解决方案： 1.选中工程，从File中选择Project Structure，如下所示： 或者直接点击右上角的“Project Structure 阅读全文
posted @ 2017-08-29 11:32 静若清池 阅读(10643) 评论(0) 推荐(0)
Flink 1.3.2 Standalone模式安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 flink-1.3.2-bin-hadoop27-scala_2.11.tgz 2.2 下载地址 http://flink.apache 阅读全文
posted @ 2017-08-28 23:36 静若清池 阅读(2447) 评论(0) 推荐(0)
基于Grafana的Repeate Panel快速定义面板
摘要：Grafana提供的Repeate Panel功能，可以快速定义一类相同的面板。 一、定义模板变量 点击“设置”、“模板”，如下所示： 设置模板变量名称、类型、显示文本，以及是否隐藏 Query部分是关键点，要选择对应的数据源，以及从那张表中查询数据，比如： 二、定义面板，使用模板变量 打开“通用” 阅读全文
posted @ 2017-08-25 16:40 静若清池 阅读(5086) 评论(0) 推荐(0)
Ignite Web 控制台（使用官方免费部署的控制台）
摘要：前提： 假设已安装ignite，并且安装路径为：/usr/apache-ignite-fabric-2.1.0-bin 1.下载Web Agent 打开链接：https://console.gridgain.com/configuration/advanced/clusters 2.部署Web Ag 阅读全文
posted @ 2017-08-24 23:21 静若清池 阅读(5376) 评论(0) 推荐(1)
Ignite与Spark集成时，ClassNotFoundException问题解决
摘要：参考文章：https://apacheignite-fs.readme.io/docs/installation-deployment Spark application deployment model allows dynamic jar distribution during applicat 阅读全文
posted @ 2017-08-24 14:08 静若清池 阅读(630) 评论(0) 推荐(0)
Visual Studio中将打开的代码与类文件进行关联
摘要： 阅读全文
posted @ 2017-08-23 15:04 静若清池 阅读(925) 评论(0) 推荐(0)
On-Heap与Off-Heap
摘要：和C#里的托管代码、非托管代码类似 阅读全文
posted @ 2017-08-22 17:14 静若清池 阅读(454) 评论(0) 推荐(0)
Spark2.2.0分布式集群安装（StandAlone模式）
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 二、文件准备 2.1 文件名称 spark-2.2 阅读全文
posted @ 2017-08-11 00:27 静若清池 阅读(801) 评论(0) 推荐(0)
Alluxio 1.5集群搭建
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 alluxio-1.5.0-hadoop-2.7-bin.tar.gz 2.2 下载地址 http://downloads.alluxi 阅读全文
posted @ 2017-08-08 23:30 静若清池 阅读(873) 评论(0) 推荐(0)
InfluxDb中写入重复数据问题解决方案
摘要：1.InfluxDb版本 0.10.3 2.Measurement TodayChargeTimeReport 只有time和Field列，没有Tag列 3.现象：通过定时任务向上面的表中写入数据： 定时任务5分钟执行一次，定时任务的内容是查询SQL，查询出凌晨至今的数据，10分钟一个间隔，写入in 阅读全文
posted @ 2017-08-01 17:03 静若清池 阅读(5697) 评论(0) 推荐(0)