记ODS层数据删除的总结

背景:

在进行大数据测试的时候,需要删除测试数据,我对ODS层数据也用truncate table 表名进行删除,然后报错,后面知道ODS层数据删除不能这样删

 

原因:

ODS层数据一般是外部表,不是单单删除数据那么简单,它还有数据文件在HDFS上

 

正确方法:

1.进入容器,切换为能进入HDFS的用户

[root@0822 10:51:00 airflow-0]: ~
>export HADOOP_USER_NAME=hdfs

3.删除数据文件

[root@0822 10:51:58 airflow-0]: ~
>hadoop fs -rm -r /user/hdfs/upapilog/*

4.查看是否已删除

[root@0822 10:52:13 airflow-0]: ~
>hadoop fs -ls /user/hdfs/upapilog/

posted @ 2022-08-23 14:45  fanghui778  阅读(138)  评论(1)    收藏  举报