Hadoop hdfs 常用命令

  1. 随机返回指定行数的样本数据

    hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5

  2. 返回前几行的样本数据

    hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100

  3. 返回最后几行的样本数据

    hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5

  4. 查看文本行数

    hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l

  5. 查看文件大小(单位byte)

    hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*

    hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*

posted @ 2017-04-25 14:23  yeffyliu  阅读(202)  评论(0)    收藏  举报