摘要: K8s中下线Hadoop节点(节点下线,调整副本数) 将Hadoop从三副本修改为双副本,同时修改datanode和nodemanager节点数为2 修改hadoop节点副本数和datanode以及yarn nodemanager节点数: hadoop.hdfs.replication=2 hado 阅读全文
posted @ 2023-12-27 16:19 何亚告 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 使用pg_dump导出postgresql数据 参考:如何使用 PostgreSQL 进行数据迁移和整合? 导出命令 pg_dump -U username -d dbname -a --inserts -f backup.sql -a 只导出数据,不导出schema --inserts 将数据转储 阅读全文
posted @ 2023-12-26 16:27 何亚告 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 使用Distcp进行Hadoop数据迁移 DispCP官方文档 在进行数据迁移前确认数据量大小和数据文件数,源端和目的端都需要确认: hdfs dfs -count / 59790 7008 22875716090 / 59790:表示目录 / 下的文件总数,即包括目录和文件在内的所有对象的数量。 阅读全文
posted @ 2023-12-26 16:13 何亚告 阅读(57) 评论(0) 推荐(0) 编辑