04 2022 档案

shell脚本参数读取列表文件,循环执行时,要注意这个列表文件转换成 unix 格式
摘要：当报一些很奇怪的错,比如报错多了一个空格,但 vim 看打开没有,比如: 或者肉眼看上去路径正常,但却报路径不存在: 这种时候要使用 dos2unix 工具,把这个列表文件转换一下: 阅读全文
posted @ 2022-04-18 22:53 hdpdriver 阅读(125) 评论(0) 推荐(0)
加快 hdfs block 块复制的参数调整
摘要：共涉及三个参数: dfs.namenode.replication.max-streams 30 ⇒ 70 dfs.namenode.replication.max-streams-hard-limit 40 ⇒ 90 dfs.namenode.replication.work.multiplier 阅读全文
posted @ 2022-04-11 13:01 hdpdriver 阅读(600) 评论(0) 推荐(0)
namenode rpc 请求队列调优
摘要：当 datanode 上新写完一个块，默认会立即汇报给 namenode。在一个大规模 Hadoop 集群上，每时每刻都在写数据，datanode 上随时都会有写完数据块然后汇报给 namenode 的情况。因此 namenode 会频繁处理 datanode 这种快汇报请求，会频繁地持有锁，其实非 阅读全文
posted @ 2022-04-11 12:54 hdpdriver 阅读(612) 评论(0) 推荐(0)
Clickhouse-alter 对副本表修改表结构报元数据错误
摘要：[应用场景] 对分片副本表的列进行 alter 操作 [问题复现] [解决办法] 检查该分片所有副本表的表结构和 zk 上存储的 column 信息保持一致,检查本地的表结构 sql 文件 /data/clickhouse/clickhouse-server/metadata/default/xxx 阅读全文
posted @ 2022-04-01 21:40 hdpdriver 阅读(552) 评论(0) 推荐(0)
Clickhouse 纯手工迁移表
摘要：[应用场景] 由于一些未可知的原因,导致原表不可用,也不能恢复.通过手动迁移的方法来恢复业务 [解决办法] 新建一张 copy 表,把原表的 data 目录复制到新表的data 目录,并 attach 上去,然后删除旧表,把新表重命名为旧表.来恢复业务 比如说原表为 default.a ,具体步骤如 阅读全文
posted @ 2022-04-01 19:59 hdpdriver 阅读(849) 评论(0) 推荐(0)
Clickhouse-insert 数据写入不成功问题
摘要：[应用场景] 对副本表进行 alter delete 数据后,同样的数据再进行 insert into 操作. [问题复现] [问题解释] 对副本表 insert 语句的数据会划分为数据块. 每个数据块会生成 block_id ,存在 zookeeper 相应表目录的 block 子目录下.根据这个 阅读全文
posted @ 2022-04-01 12:57 hdpdriver 阅读(2714) 评论(0) 推荐(0)