摘要: 使用Flink时,如果从Kafka中读取输入流,默认提供的是String类型的Schema: 如果存入Kafka中的数据不是JSON,而是Protobuf类型的数据,需要用二进制的Schema进行接收,可以自己实现一个类,很简单,只有一行代码: 然后使用时,如下所示: 阅读全文
posted @ 2017-08-29 15:41 静若清池 阅读(4776) 评论(0) 推荐(0) 编辑
摘要: 如果在在Spark、Flink应用中使用Protobuf 3的包,因为Spark默认使用的是2.5版本的包,提交任务时,可能会报如下异常: 针对Spark,可以使用SPARK_CLASSPATH或是指定 的方式解决,今天在调试Flink程序时,发现还有一种解决方式: If the uber JAR 阅读全文
posted @ 2017-08-29 15:15 静若清池 阅读(3511) 评论(0) 推荐(0) 编辑
摘要: 如果编译Scala工程时,遇到如下异常: 很可能是工程的scala版本,和依赖的包的版本不一致,这时候需要将工程的版本,调整为和依赖的包的版本一致,以下是解决方案: 1.选中工程,从File中选择Project Structure,如下所示: 或者直接点击右上角的“Project Structure 阅读全文
posted @ 2017-08-29 11:32 静若清池 阅读(8420) 评论(0) 推荐(0) 编辑