所向披靡zz - 博客园

2025年3月3日

摘要：解决HDFS磁盘满的问题可以通过以下几种方法‌：‌ ‌1、删除不必要的文件‌：查看HDFS中哪些文件占用了大量空间，删除不需要的文件或者将其移动到本地存储中。可以使用hadoop dfs -du -h /命令来查看各文件及目录的空间使用情况，然后使用hadoop dfs -rm -r命令删除指定的文阅读全文

posted @ 2025-03-03 21:03 所向披靡zz 阅读(189) 评论(0) 推荐(0)

HDFS中数据目录的挂载在根目录下至磁盘爆满问题解决

摘要： 1、查看hdfs-size.xml文件获取数据目录位置 vim /opt/hadoop/etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop-data/data-node 阅读全文

posted @ 2025-03-03 20:50 所向披靡zz 阅读(29) 评论(0) 推荐(0)

查看hive表大小命令 hdfs dfs -du -h

摘要：假设运行命令 hdfs dfs -du -h /user/hive/warehouse/ods_all.db，输出结果为： 212.5 G 637.4 G /user/hive/warehouse/ods_all.db ‌212.5 G‌：表示该目录下所有文件的大小总和，约为212.5GB。‌637 阅读全文

posted @ 2025-03-03 18:09 所向披靡zz 阅读(110) 评论(0) 推荐(0)

2025年1月19日

excel快速定位到某一行

摘要：左上角输入框输入：A100 定位到第100行阅读全文

posted @ 2025-01-19 21:34 所向披靡zz 阅读(72) 评论(0) 推荐(0)

excel对列数据去重（数据核对）

摘要： wps使用UNIQUE()函数阅读全文

posted @ 2025-01-19 21:00 所向披靡zz 阅读(24) 评论(0) 推荐(0)

2024年12月31日

Hadoop maximum Java heap size设置

摘要：原文链接： https://blog.51cto.com/u_16213435/10943661 阅读全文

posted @ 2024-12-31 11:12 所向披靡zz 阅读(28) 评论(0) 推荐(0)

The variance for this alert is ***MB which is ***% of the ***MB average (***MB is the limit)

摘要： NameNode Heap Usage (Daily) 阅读全文

posted @ 2024-12-31 10:44 所向披靡zz 阅读(61) 评论(0) 推荐(0)

Doris版本部署

摘要： Apache Doris 现在 2.1.6 版本是非常耐打的一个版本，无论是性能，还是绝大部分的功能完善度上而言，都是一个可视为生产稳定可靠的版本，如对存算分离版本感兴趣，下载3.0.2部署一般硬件配置：服务器：x86-64 架构、ARM64 架构机器数量：4台（1台fe，3台be） cpu：阅读全文

posted @ 2024-12-31 10:32 所向披靡zz 阅读(209) 评论(0) 推荐(0)

使用 Dinky 可视化构建 Apache Doris 数据开发同步任务

摘要：原文链接： https://mp.weixin.qq.com/s/Ld0Tf7jCFm5k-X_Lm3XeeA 阅读全文

posted @ 2024-12-31 10:28 所向披靡zz 阅读(80) 评论(0) 推荐(0)

2024年12月17日

linux根据文件修改时间删除文件

摘要：删除文件 #!/bin/bash # 指定目录 directory="/opt/spd/" # 查找修改时间大于25天的文件，并删除 find "$directory" -type f -mtime +25 -exec rm {} \; 查找文件 find /opt/spd -type f -mti 阅读全文

posted @ 2024-12-17 11:35 所向披靡zz 阅读(105) 评论(0) 推荐(0)

公告