正文内容加载中...
posted @ 2021-11-17 09:22 Tim&Blog 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 报错信息: ipc.client , server:htzq-tdh01:10020.Already tried 9 times 原因分析:由于集群删除该节点htzq-tdh01导致下游系统使用sqoop做数据采集、推送报错,sqoop用到hdfs节点,并且会通过mr进行数据计算 ,tdh5版本的m 阅读全文
posted @ 2021-11-15 11:00 Tim&Blog 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 1.kafka开通krb认证之后,需要在消费kafka时候加载配置文件 ./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-f 阅读全文
posted @ 2021-11-01 14:16 Tim&Blog 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 迁移hdfs节点过程中,退役datanode节点,出现这个问题:使用命令检查block报告hdfs fsck /返回结果截图如下:参数说明:Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB) 阅读全文
posted @ 2021-10-15 16:51 Tim&Blog 阅读(50) 评论(0) 推荐(0) 编辑
摘要: html页面转pdf下载 两个js文件可供使用,地址如下: https://github.com/linwalker/render-html-to-pdf 唯一的缺点是图片跨页不好解决,最终的pdf文件如下: 解决下载pdf文件背景是黑色的问题,将div添加背景色为白色,未解决图片跨页问题,解决思路 阅读全文
posted @ 2021-09-01 11:26 Tim&Blog 阅读(219) 评论(0) 推荐(0) 编辑
摘要: Lyft 于2019年4月开发了Amundsen,并与10月开源。git项目地址:https://github.com/amundsen-io/amundsen安装说明:https://github.com/amundsen-io/amundsen/blob/main/docs/installation.mdAmundsen提供了搜索与排名的功能,帮助更好的查找数据表。支持的数据源非常丰富,支持h 阅读全文
posted @ 2021-08-30 11:16 Tim&Blog 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 星环catalog元数据管理系统,底层是在altas的基础上做了自己的开发,具有血缘关系、数据地图展示,搜索(做的不好)表等,可以给表加标签,还具有sql执行页面。总体来说这套工具想法挺好,但是产品用起来不是特别友好,搜索想全文查找不是特别好用,搜出来的字段无法连接到具体表上,只是展示。 搜索表或者 阅读全文
posted @ 2021-08-30 10:36 Tim&Blog 阅读(69) 评论(0) 推荐(0) 编辑
摘要: HBaseHiveSqoopStormKafka limitOffset? EOF; STRING: '"' ~('"')* '"' | '\'' ~('\'')* '\'' | '`' ~('`')* '`'; 阅读全文
posted @ 2021-08-30 09:19 Tim&Blog 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 一、idea安装lombok插件 安装lombok插件 在这里插入图片描述 二、重启idea 三、添加maven依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version> 阅读全文
posted @ 2021-04-16 13:55 Tim&Blog 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 1.官方说明如下 按照上面信息配置时候会出现 (staticfiles.E002) The STATICFILES_DIRS setting should not contain the STATIC_ROOT setting. 估计是linux和windows的原因导致 这里从网上找到解决办法: 阅读全文
posted @ 2021-03-05 14:17 Tim&Blog 阅读(603) 评论(0) 推荐(0) 编辑
摘要: echarts网状模型研究 参考导向力算法D3.js,有很多例子,最终的目标就是分开相互关联画图覆盖问题 echarts里面也有能够实现画图的例子 我们今天主要分析下echarts中关系图graph的数据模型 通过找到例子中的数据发现,https://cdn.jsdelivr.net/gh/apac 阅读全文
posted @ 2021-01-25 16:34 Tim&Blog 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 转载:https://blog.csdn.net/iamlake/article/details/104982518 引子 1. 蓝鲸的背景:运维转型 原因1:业务红海化 原因2:“传统运维”生存空间塌缩 原因3:我们太累了 2. 蓝鲸的设计思想 3. 蓝鲸服务 4. 收尾 阅读全文
posted @ 2021-01-05 11:51 Tim&Blog 阅读(550) 评论(0) 推荐(0) 编辑
摘要: 某君请领导吃饭,领导婉拒。他本想回“好的”。却回成了“妈的”。结果,他失业时才五十多岁! 某女给男同事发微信:“你是同事中最出色的,跟你在一起,真的很开心!”因为不细心,少打了个“出”字。很长时间后,还一直在纳闷,为啥被拉黑?以上是两则笑话,这种笑话很“低级”,但在我们生活中,因“一字之差”而引起的 阅读全文
posted @ 2020-12-25 13:18 Tim&Blog 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-12-14 08:35 Tim&Blog 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 根目录结构 一、3party-licenses 二、addons 1、falcon-bridge 2、falcon-bridge-shim 3、hbase-bridge 4、hive-bridge 5、kafka-bridge 6、models 7、sqoop-bridge 8、storm-brid 阅读全文
posted @ 2020-11-13 11:01 Tim&Blog 阅读(5090) 评论(0) 推荐(0) 编辑
摘要: 问题: 使用sql语句,insert into xxx select * from xxx group by;等复杂的逻辑语句 出现reducer数量超过1000000 原因分析: Hadoop MapReduce程序中,reducer个数的设定极大影响执行效率 ,这使得Hive怎样决定reduce 阅读全文
posted @ 2020-10-29 08:36 Tim&Blog 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 问题想象: bat执行exe过程中出现exe一闪而过,发现是目录位置不对,解决办法 问题分析:你可以通过cmd执行exe查看具体报错内容,可以发现exe执行时候需要根据exe的当前路径加载相关dll后者配置文件,所以执行报错 解决: 办法1:通过跳转目录解决 bat定义: 添加目录跳转CHDIR 你 阅读全文
posted @ 2020-10-28 14:16 Tim&Blog 阅读(354) 评论(0) 推荐(0) 编辑
摘要: Hadoop支持的一系列通配符与Unix bash相同: 通配符 名称 匹配 * 星号 匹配0或多个字符 ? 问号 匹配单一字符 [ab] 字符类别 匹配{a,b}中的一个字符 [^ab] 非字符类别 匹配不是{a,b}中的一个字符 [a-b] 字符范围 匹配一个在{a,b}范围内的 字符(包括ab 阅读全文
posted @ 2020-09-09 14:08 Tim&Blog 阅读(548) 评论(0) 推荐(0) 编辑
摘要: 在线文档:https://ke.smartloli.org/ 作者博客:https://www.cnblogs.com/wang3680 源码地址:https://github.com/smartloli/kafka-eagle 环境要求: 需要的java版本 java1.8以上版本 下载包Kafk 阅读全文
posted @ 2020-06-18 11:27 Tim&Blog 阅读(710) 评论(0) 推荐(0) 编辑
摘要: 一、安装 参考:https://www.cnblogs.com/cpy-devops/p/9287531.html 首先保证系统安装了java 1.8以上版本 tar –zxvf /home/logstash-7.7.0.tar.gz -C /usr/local 进入/usr/local/logst 阅读全文
posted @ 2020-06-15 13:50 Tim&Blog 阅读(2242) 评论(0) 推荐(0) 编辑