正文内容加载中...
posted @ 2022-06-02 16:45 Tim&Blog 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 一、场景 当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务 问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完 要注意在decommisstion in progres 阅读全文
posted @ 2022-06-01 08:46 Tim&Blog 阅读(8) 评论(0) 推荐(0) 编辑
摘要: hdfs fsck / 检查整个hdfs目录 Corrupt blocks,表示损坏的数据块的数量,这里是0 最后一行信息说明/目录文件系统是健康的 参考文章 https://www.cnblogs.com/tesla-turing/p/11487899.html 阅读全文
posted @ 2022-03-25 08:25 Tim&Blog 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 1.svn服务器支持网页显示 VisualSVN Server是一个非常不错的SVN Server程序,方便,直观,用户管理也异常方便。不过,它本身并没有提供在线修改密码的功能。由于在实际使用过程中,一旦SVN的用户比较多,只单单依靠windows的管理控制台去修改密码 显然是不太合适的。总不能任何 阅读全文
posted @ 2022-03-17 10:30 Tim&Blog 阅读(503) 评论(0) 推荐(3) 编辑
摘要: 1.部署之后执行出现api-ms-win-crt-runtime-l1-1-0.dll丢失的办法 微软官网下载vc_redist.x64.exe vc_redist.x86.exe 64位的操作系统需要安装这两个文件,安装之后发现安装失败,报出来0x80240017 经过多方排查发现需要打补丁 补丁 阅读全文
posted @ 2022-03-15 18:51 Tim&Blog 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 1.需求: 之前在公司内部搭建了svn服务器,给部门存放文档、视频,做成了一个文档服务器来用,随着视频文件太大,每次下载太慢 需要把文件在线打开查看 2.解决: kkFileView https://kkfileview.keking.cn/zh-cn/index.html kkFileView为文 阅读全文
posted @ 2022-03-15 18:35 Tim&Blog 阅读(98) 评论(0) 推荐(0) 编辑
摘要: inceptor监控界面说明 job监控界面 jobs 代表单独的sql job,一个sql进来之后会形成一个job,下面显示的有正在执行的job,完成的job,失败的job stages 代表阶段,一个sql进来之后会拆分成不同的阶段来执行,这里涉及到spark的知识,下面会讲到 username 阅读全文
posted @ 2022-03-03 15:36 Tim&Blog 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 接着上次调试的过程部署时候,发现dolphinscheduler连接tdh时候validationQuery还是select 1 这里怀疑可能是由于dolphinscheduler存在硬编码问题,修改了代码也不生效 我们这样改代码: dolphinscheduler-datasource-plugi 阅读全文
posted @ 2022-02-08 16:03 Tim&Blog 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 一.系统版本说明: 星环TDH5.2.4 dolphinscheduler 版本2.0.3 二,部署 参考https://www.cnblogs.com/djlsunshine/p/13214539.html 修改对应的配置即可 版本2.0.3不同的是执行用即可完成调试 三、连接inceptor 2 阅读全文
posted @ 2022-01-27 16:36 Tim&Blog 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 1. 下载dolphinscheduler 下载地址https://dolphinscheduler.apache.org/en-us/download/download.html 下载版本为:src源码,需要重新编译 查看pom.xml对应的组件版本,这里不介绍编译方式,下次用到介绍 1 <cur 阅读全文
posted @ 2022-01-26 09:00 Tim&Blog 阅读(482) 评论(0) 推荐(0) 编辑
摘要: 假设我有一个Unix shell变量,如下所示 variable=abc,def,ghij 我想使用for循环提取所有值(abc,def和ghij),并将每个值传递给一个过程。 脚本应允许从$ variable中提取任意数量的逗号分隔值。 您可以使用以下脚本动态遍历变量,无论它有多少字段,只要它们只 阅读全文
posted @ 2022-01-11 09:04 Tim&Blog 阅读(245) 评论(0) 推荐(0) 编辑
摘要: # ![image](https://img2020.cnblogs.com/blog/479631/202111/479631-20211117092034568-19972927.jpg) 阅读全文
posted @ 2021-11-17 09:22 Tim&Blog 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 报错信息: ipc.client , server:htzq-tdh01:10020.Already tried 9 times 原因分析:由于集群删除该节点htzq-tdh01导致下游系统使用sqoop做数据采集、推送报错,sqoop用到hdfs节点,并且会通过mr进行数据计算 ,tdh5版本的m 阅读全文
posted @ 2021-11-15 11:00 Tim&Blog 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 1.kafka开通krb认证之后,需要在消费kafka时候加载配置文件 ./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-f 阅读全文
posted @ 2021-11-01 14:16 Tim&Blog 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 迁移hdfs节点过程中,退役datanode节点,出现这个问题:使用命令检查block报告hdfs fsck /返回结果截图如下:参数说明:Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB) 阅读全文
posted @ 2021-10-15 16:51 Tim&Blog 阅读(163) 评论(0) 推荐(0) 编辑
摘要: html页面转pdf下载 两个js文件可供使用,地址如下: https://github.com/linwalker/render-html-to-pdf 唯一的缺点是图片跨页不好解决,最终的pdf文件如下: 解决下载pdf文件背景是黑色的问题,将div添加背景色为白色,未解决图片跨页问题,解决思路 阅读全文
posted @ 2021-09-01 11:26 Tim&Blog 阅读(607) 评论(0) 推荐(0) 编辑
摘要: Lyft 于2019年4月开发了Amundsen,并与10月开源。git项目地址:https://github.com/amundsen-io/amundsen安装说明:https://github.com/amundsen-io/amundsen/blob/main/docs/installation.mdAmundsen提供了搜索与排名的功能,帮助更好的查找数据表。支持的数据源非常丰富,支持h 阅读全文
posted @ 2021-08-30 11:16 Tim&Blog 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 星环catalog元数据管理系统,底层是在altas的基础上做了自己的开发,具有血缘关系、数据地图展示,搜索(做的不好)表等,可以给表加标签,还具有sql执行页面。总体来说这套工具想法挺好,但是产品用起来不是特别友好,搜索想全文查找不是特别好用,搜出来的字段无法连接到具体表上,只是展示。 搜索表或者 阅读全文
posted @ 2021-08-30 10:36 Tim&Blog 阅读(123) 评论(0) 推荐(0) 编辑
摘要: HBaseHiveSqoopStormKafka limitOffset? EOF; STRING: '"' ~('"')* '"' | '\'' ~('\'')* '\'' | '`' ~('`')* '`'; 阅读全文
posted @ 2021-08-30 09:19 Tim&Blog 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 一、idea安装lombok插件 安装lombok插件 在这里插入图片描述 二、重启idea 三、添加maven依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version> 阅读全文
posted @ 2021-04-16 13:55 Tim&Blog 阅读(190) 评论(0) 推荐(0) 编辑