几个Ak

摘要： 一、写操作 1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回 阅读全文

摘要： 一、横向扩容（添加新节点） 1.克隆一台虚拟机 修改ip及主机名 清空 /opt/software/hadoop-2.7.7/tmp/dfs下文件 2.在hadoop服务器虚拟机配置ip映射 启动satrt-dfs.sh vim /etc/hosts 3.配置slaves vim etc/hadoo 阅读全文

摘要： 1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio 阅读全文

摘要： 1.使用FileSystem类需要导入jar包 解压hadoop-2.7.7.tar.gz 复制如下三个jar包和lib下所有jar包到项目文件下的lib文件 2.查看文件信息 @Test public void readListFiles() throws Exception { // 1 创建配 阅读全文

摘要： -help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix 阅读全文

摘要： 在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test #测试 1.上传hadoop yum install lrzsz //安装lrzsz用于上传 cd 阅读全文