上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 15 下一页
摘要: 1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令,需要知道Flink的Job ID 阅读全文
posted @ 2017-09-05 14:06 静若清池 阅读(5233) 评论(0) 推荐(0) 编辑
摘要: 众所周知,Structured Streaming默认支持Kafka 0.10,没有提供针对Kafka 0.8的Connector,但这对高手来说不是事儿,于是有个Hortonworks的邵大牛(前段时间刚荣升Spark Committer)给出了一个开源的第三方解决方案: 不过下载下来后,编译不通 阅读全文
posted @ 2017-09-04 21:55 静若清池 阅读(775) 评论(0) 推荐(0) 编辑
摘要: 使用Flink时,如果从Kafka中读取输入流,默认提供的是String类型的Schema: 如果存入Kafka中的数据不是JSON,而是Protobuf类型的数据,需要用二进制的Schema进行接收,可以自己实现一个类,很简单,只有一行代码: 然后使用时,如下所示: 阅读全文
posted @ 2017-08-29 15:41 静若清池 阅读(5281) 评论(0) 推荐(0) 编辑
摘要: 如果在在Spark、Flink应用中使用Protobuf 3的包,因为Spark默认使用的是2.5版本的包,提交任务时,可能会报如下异常: 针对Spark,可以使用SPARK_CLASSPATH或是指定 的方式解决,今天在调试Flink程序时,发现还有一种解决方式: If the uber JAR 阅读全文
posted @ 2017-08-29 15:15 静若清池 阅读(3790) 评论(0) 推荐(0) 编辑
摘要: 如果编译Scala工程时,遇到如下异常: 很可能是工程的scala版本,和依赖的包的版本不一致,这时候需要将工程的版本,调整为和依赖的包的版本一致,以下是解决方案: 1.选中工程,从File中选择Project Structure,如下所示: 或者直接点击右上角的“Project Structure 阅读全文
posted @ 2017-08-29 11:32 静若清池 阅读(9919) 评论(0) 推荐(0) 编辑
摘要: 一、依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 flink-1.3.2-bin-hadoop27-scala_2.11.tgz 2.2 下载地址 http://flink.apache 阅读全文
posted @ 2017-08-28 23:36 静若清池 阅读(2390) 评论(0) 推荐(0) 编辑
摘要: Grafana提供的Repeate Panel功能,可以快速定义一类相同的面板。 一、定义模板变量 点击“设置”、“模板”,如下所示: 设置模板变量名称、类型、显示文本,以及是否隐藏 Query部分是关键点,要选择对应的数据源,以及从那张表中查询数据,比如: 二、定义面板,使用模板变量 打开“通用” 阅读全文
posted @ 2017-08-25 16:40 静若清池 阅读(4742) 评论(0) 推荐(0) 编辑
摘要: 前提: 假设已安装ignite,并且安装路径为:/usr/apache-ignite-fabric-2.1.0-bin 1.下载Web Agent 打开链接:https://console.gridgain.com/configuration/advanced/clusters 2.部署Web Ag 阅读全文
posted @ 2017-08-24 23:21 静若清池 阅读(5016) 评论(0) 推荐(1) 编辑
摘要: 参考文章:https://apacheignite-fs.readme.io/docs/installation-deployment Spark application deployment model allows dynamic jar distribution during applicat 阅读全文
posted @ 2017-08-24 14:08 静若清池 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-08-23 15:04 静若清池 阅读(890) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 15 下一页