Loading

随笔分类 -  大数据相关技术

摘要:部署环境 hadoop 3.0.0-cdh6.3.2 hive 3.1.2 kylin 4.0.1 spark 3.1.1 一、准备工作 1、下载apache-kylin-4.0.1-bin-spark3.tar.gz并解压到本地目录,将spark-3.1.1-bin-hadoop2.7.tgz下载 阅读全文
posted @ 2023-11-14 14:55 爱睡懒觉的我 阅读(287) 评论(0) 推荐(0)
摘要:kyuubi-1.6.1版本对于flink sql的支持不是很好,在提交流式任务时会阻塞进程,为了修复这个缺陷,需要修改源代码并重新编译 待编译的kyuubi版本:kyuubi-1.6.1-incubating 适配的flink版本:flink-1.14.4 1、下载kyuubi-1.6.1-inc 阅读全文
posted @ 2023-10-07 16:07 爱睡懒觉的我 阅读(230) 评论(0) 推荐(0)
摘要:在有kerberos认证的集群里,使用jdbc的方式连接kyuubi并提交flink sql到flink集群运行还是有点麻烦的。我查阅了网上的不少资料,也照着做,发现都不行,最后按照下面这种方法成功提交并运行了。 注意: 运行代码之前要保证运行提交代码的机器与目标服务器实现时间同步,不然代码运行可能 阅读全文
posted @ 2023-03-19 21:42 爱睡懒觉的我 阅读(669) 评论(0) 推荐(0)
摘要:今天在使用kylin构建cube的时候报如下错误: 2022-10-09 16:45:00,932 ERROR [pool-12-thread-9] threadpool.DefaultScheduler:121 : ExecuteException job:f7b41a90-4c10-994d-e 阅读全文
posted @ 2023-02-11 13:43 爱睡懒觉的我 阅读(440) 评论(0) 推荐(0)
摘要:1、首先需要在pom文件中引入kafka的依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2、在application.y 阅读全文
posted @ 2022-01-12 20:46 爱睡懒觉的我 阅读(325) 评论(0) 推荐(0)