kuainiao

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

1 通过在hadoop节点上自带命令操作HDFS

比如我们用下面命令

查看/test目录
hdfs dfs -ls /test
查看目录或者文件的块信息
hdfs fsck / -files -blocks -locations -racks
hdfs fsck /test/start.txt -files -blocks -locations -racks
修改目录权限
hdfs dfs -chmod -R 777 /test

2 通过代码远程操作HDFS,目前用python进出实验

使用python3.6对hdfs库进行操作

安装依赖:

pip3 install --upgrade pip #更新pip,防止版本过低

pip3 install pyHdfs #安装pyHdfs

编码:

 

from pyhdfs import HdfsClient

if __name__ == '__main__':
client = HdfsClient(hosts='hadoop2.com:50070') # 50070是端口号
print(client.list_status('/')) # 打印
print(client.list_status('/test')) # 打印
print(client.copy_to_local('/test/start.txt','start2.txt')) # 从hadoop集群中下载文件
print(client.mkdirs('/test/python', permission=777)) #在hadoop集群中创建目录
print(client.copy_from_local('start2.txt', '/test/python/start2.txt')) #把本地文件上传hadoop集群
print(client.delete('/test/python/start2.txt')) #删除hadoop集群文件
print(client.delete('/test/python')) #删除hadoop集群目录

  

posted on 2018-07-31 14:32  kuainiao  阅读(491)  评论(0编辑  收藏  举报
View Code