4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置
不多说,直接上干货!
Hdfs是根/目录,windows是每一个盘符
1 从Linux里传一个到,hdfs里去
2 从hdfs里下一个到,linux里去
想从hdfs里,下载到linux,
涨知识,记住,hdfs是建立在linux上,
现在,hdfs里还有jdk-7u65-linux-i586.tar.gz,好,linux里,没有了jdk-7u65-linux-i586.tar.gz。
在抽象的hdfs文件系统里,存在datanode那个机器的抽象的hdfs文件系统里,
其实,刚下载,是从datanode文件夹里,下载,通过http协议,下载得到,
http://192.168.1.101:50070 (HDFS管理界面)
http://192.168.1.101:8088 (MR管理界面)
mr程序,打成jar包,自带的,都在share里,
关于common、hdfs、mapreduce、yarn的例子程序,都在这里。
hdfs的实现机制初始
说明,hadoop的身份验证,是比较弱的,
方便,查看,清理大文件,跟windows里,一样
非常不灵活,在生产,一般用API去操作。
无密码登陆配置
SSH除了密码机制,还有秘钥机制。
成功实现,无密码登陆设置!!!
作者:大数据和人工智能躺过的坑
出处:http://www.cnblogs.com/zlslch/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。
如果您认为这篇文章还不错或者有所收获,您可以通过右边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【好文要顶】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!