随笔分类 -  Hadoop命令

hadoop 常用命令
摘要：1，hadoop fs -cat /shining/temp.txt.gz | zcat | head -1hadoop fs -text /shining/temp.txt.gz | head -1 查看gz文件的第一行数据 参考资料：https://blog.csdn.net/java___bo 阅读全文
posted @ 2021-07-13 19:57 刘凯_tju 阅读(527) 评论(0) 推荐(0)
在hdfs文件中寻找指定字符串
摘要：for file in `hadoop fs -ls hdfs://*/*/*|awk '{print $NF}'` do echo $file hadoop fs -text $file |grep "7725400278767286400" >>log.txt done awk '{print 阅读全文
posted @ 2021-07-12 21:11 刘凯_tju 阅读(424) 评论(0) 推荐(0)
hdfs和本地文件互传
摘要：1，hdfs文件下载到本地 Hadoop fs -get hdfs://bj04-region04//test/20210528/11/2021052811.xt 也可以直接get 目录 将整个目录内的内容都传下来 2, 本地文件上传到hdfs Hadoop fs -put 11 hdfs:/tes 阅读全文
posted @ 2021-05-28 15:57 刘凯_tju 阅读(658) 评论(0) 推荐(0)