会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
whiteY
博客园
首页
新随笔
联系
订阅
管理
2024年8月23日
doris 数据库基础使用
摘要: 1.doris修改默认密码,初始密码为空(必须是以本用户登录才能修改本用户的密码) SET PASSWORD FOR 'root' = PASSWORD('123456'); 2.doris创建用户 #所有权限 create user 'doris_user' identified by '1234
阅读全文
posted @ 2024-08-23 14:12 whiteY
阅读(1406)
评论(0)
推荐(0)
2024年4月25日
使用dolphinscheduler调度flink实时任务
摘要: 1.在“项目管理”>>"工作流定义" 里边创建工作流 2.选择flink_stream 3.选择安装flink服务的节点worker分组 程序类型选择 sql 4.在“脚本” 编写框输入 flink-sql主代码 5.选择flink版本,指定任务名称,配置资源参数 最后点击确认保存 6.在任务定义>
阅读全文
posted @ 2024-04-25 14:05 whiteY
阅读(2282)
评论(0)
推荐(0)
2024年3月20日
dolphinscheduler调度任务执行hadoop命令报错(connot execute /opt/soft/hadoop/libexec/hadoop-config.sh)
摘要: 问题描述 在dolphinscheduler创建调度任务,任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败,报错信息如下: 问题分析 经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。 问题解决 配置dolphi
阅读全文
posted @ 2024-03-20 11:28 whiteY
阅读(332)
评论(0)
推荐(0)
2024年3月8日
flink 中的水位线(Watermark)
摘要: 水位线 Watermark 实时统计使用了flink sql程序,使用flink-TVF表值函数滚动窗口按分钟进行数据聚合操作,消费的kafka数据需要在规定的时间窗口内进行推送数据并消费计算, 为了解决处理乱序事件或延迟数据引入了Watermark,用来设置延迟计算时间等待迟到的数据,但不能无限期
阅读全文
posted @ 2024-03-08 10:12 whiteY
阅读(234)
评论(0)
推荐(0)
2024年3月5日
hbase自动化建表脚本
摘要: 脚本内容如下 #!/bin/bash v_date=`date -d '+1 day' +%Y%m%d` delete_date=`date -d '-8 day' +%Y%m%d` end_date=`date -d '+3 day' +%Y%m%d` while [ $v_date != $en
阅读全文
posted @ 2024-03-05 11:00 whiteY
阅读(24)
评论(0)
推荐(0)
2024年3月1日
dolphinscheduler管理页面主机host显示IP异常问题
摘要: 问题背景: 登录dolphinscheduler管理页面,打开监控中心大盘发现IP显示异常,不是自己主机的业务IP 问题分析: 显示的IP是主机的bond0的IP,不是业务ip所在bond,则需要修改bond配置 解决方案: 需要将network.interface修改成业务ip所在的bond1网卡
阅读全文
posted @ 2024-03-01 11:55 whiteY
阅读(413)
评论(0)
推荐(0)
dolphinscheduler指定元数据库名称
摘要: 问题背景: dolphinscheduler服务元数据库默认库名为dolphinscheduler,但是在一个数据库服务里边要创建安装部署两套dolphinscheduler服务那肯定得要两个不同的数据库名称进行区分,dolphinscheduler配置文件该怎么修改数据库名称? 页面配置: dol
阅读全文
posted @ 2024-03-01 11:44 whiteY
阅读(78)
评论(0)
推荐(0)
使用ambari安装dolphinscheduler服务
摘要: ambari服务集成dolphinscheduler服务 1.将需要集成到ambari的服务安装包放到该目录下 /var/lib/ambari-server/resources/stacks/HDP/3.1/services 2.重启ambari-server服务 sudo ambari-serve
阅读全文
posted @ 2024-03-01 11:22 whiteY
阅读(321)
评论(0)
推荐(0)
2024年2月29日
Hbase服务启动异常(hbase-ams-master.pid doesn‘t exist)
摘要: 1.问题描述 部署完hbase之后启动服务发现报错,报错信息为hbase-ams-master.pid doesn‘t exist 2.问题排查 查看错误日志/var/log/hbase/hbase-hbase-master-khd-sd-b2k-hbase--ca83.out 和 hbase-hb
阅读全文
posted @ 2024-02-29 13:04 whiteY
阅读(116)
评论(0)
推荐(0)
hadoop服务自动重启配置
摘要: 部署完hadoop服务组件之后,需要进行服务自动启动配置,在服务异常挂掉之后可自动启动避免人为干预。
阅读全文
posted @ 2024-02-29 12:51 whiteY
阅读(60)
评论(0)
推荐(0)
下一页
公告