摘要：
一、环境准备 1.添加插件到eclipse plugins目录下就可以了 2.把Window编译后的hadoop的文件放到 hadoop的bin目录下 3.配置环境变量 HADOOP_HOME=E:\hadoop\hadoop-2.7.7 Path=%HADOOP_HOME%\bin;%HADOOP 阅读全文
posted @ 2020-03-06 16:34
幻世纪
阅读(380)
评论(0)
推荐(0)
摘要：
一、写流程 二、读流程 三、元数据，secondarynamenode 元数据：抽象目录树、数据和块的映射关系、数据块的存储节点（相当于书籍的目录，方便查找） fsimage：文件是文件系统元数据的一个永久性检查点，包含文件系统中的所有目录和文件idnode的序列化信息。 edits：文件系统的写操 阅读全文
posted @ 2020-02-29 16:39
幻世纪
阅读(423)
评论(0)
推荐(0)
摘要：
一、添加新的节点（热部署） 1.克隆一台虚拟机作为新的节点，修改IP、主机名 2.修改namenode的/etc/hosts中的IP地址映射（这个步骤只是为了方便记忆，可以不做，在namenode的slaves添加ip地址即可） 3.修改namenode的slaves，添加新的节点 4.配置新节点的 阅读全文
posted @ 2020-02-26 17:19
幻世纪
阅读(738)
评论(0)
推荐(0)
摘要：
一、namenode节点各参数 二、Hadoop sbin指令 1.hadoop-daemon.sh //启动或关闭一个应用 hadoop-daemon start namenode hadoop-daemon start datanode hadoop-daemon start secondary 阅读全文
posted @ 2020-02-26 14:46
幻世纪
阅读(298)
评论(0)
推荐(0)
摘要：
1.准备 开发环境：eclipse 依赖包：hadoop-2.7.7.tar.gz安装包 share/hadoop/下 common、hdfs中的jar包 2.连接HDFS服务器 /** * 连接HDFS服务器 */ @Test public void connectHDFS() { //做一个配置 阅读全文
posted @ 2020-02-22 19:20
幻世纪
阅读(397)
评论(0)
推荐(0)
摘要：
形式如下：程序 菜单 命令（和Linux命令相似） 绝对路径 1.hadoop fs -ls / 查看根目录下的文件（HDFS是一个单独的文件系统，使用时只能用绝对路径） 2.hadoop fs -lsr / lsr表示递归显示根路径下的文件 3.hadoop fs -mkdir /upload 在 阅读全文
posted @ 2020-02-21 14:34
幻世纪
阅读(2421)
评论(0)
推荐(0)
摘要：
一、部署前的准备 （1）软件 一个空白的CentOS映像文件 Xshell（用于传输文件 rz命令只能在远程连接工具上有效） （2）虚拟机配置 网络配置：网络适配器选择桥接 ip地址、子网掩码、网关、DNS服务器地址 =>可以在安装时的图形界面完成配置 =》也可以 vim /etc/sysconfi 阅读全文
posted @ 2020-02-20 16:40
幻世纪
阅读(185)
评论(0)
推荐(0)
浙公网安备 33010602011771号