随笔分类 -  hadoop

kafka安装流程和测试
摘要：1.上传文件到3台服务器 下载路径：http://kafka.apache.org/downloads 2.添加环境变量 vi /etc/profileKAFKA_HOME=/opt/software/kafka_2.11-0.10.1.0PATH=$PATH:$KAFKA_HOME/binsour 阅读全文
posted @ 2020-04-28 19:24 牛皮糖比 阅读(288) 评论(0) 推荐(0)
hadoop退出安全模式
摘要：在使用hdfs时出现Name node is in safe mode.问题 说明hadoop处于安全模式 解决方法： hadoop dfsadmin -safemode leave 阅读全文
posted @ 2020-03-23 22:27 牛皮糖比 阅读(3892) 评论(0) 推荐(0)
hdfs读写流程，checkpoint流程
摘要：HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po 阅读全文
posted @ 2020-03-02 22:09 牛皮糖比 阅读(664) 评论(0) 推荐(0)
hdfs扩容
摘要：hdfs的主要作用存储大量数据，主要解决问题扩充容量 hdfs文件系统扩容 hdfs热部署和冷部署 热部署：服务不停止，直接增加节点机器，增加主机器中的slaves,hadoop-deamon.sh start datanode ​冷部署：服务停止，增加机器后，开启服务在namenode和yarn已 阅读全文
posted @ 2020-02-28 21:11 牛皮糖比 阅读(366) 评论(0) 推荐(0)
hdfs完全分布式部署（未分配namenode和yarn服务）
摘要：克隆一个完成了伪分布式的计算机 伪分布式部署参考：https://www.cnblogs.com/yaoss/p/12337177.html 多台服务器规划好地址 主机名IP地址 hostsname1 ip1 hostsname2 ip2 hostsname3 ip3 配置ip地址 TYPE=Eth 阅读全文
posted @ 2020-02-25 21:11 牛皮糖比 阅读(247) 评论(0) 推荐(0)
hdfs学习-50070端口的讲解和sbin中脚本的作用说明
摘要：当我们搭建伪分布式hdfs后，访问ip:50070 summary表格的各项讲解 脚本讲解（hadoop/sbin/下的命令） start-all.sh 打开五个软件 namenode datanode secondarynamenode resourcemanager nodemanager st 阅读全文
posted @ 2020-02-25 20:30 牛皮糖比 阅读(1340) 评论(0) 推荐(0)
hdfs-api学习（0）
摘要：hdfs-api学习，需要导入share下的lib中的jar包，common、hdfsjar包的依赖关系，common是最底层的 hdfs连接 Configuration conf = new Configuration(); //服务器地址端口号 conf.set("fs.defaultFS", 阅读全文
posted @ 2020-02-25 20:04 牛皮糖比 阅读(324) 评论(0) 推荐(0)
hadoop常用命令
摘要：启动命令 start-all.sh #开启所有进程stop-all.sh #关闭所有进程 单进程启动 hadoop-daemon.sh start namenodehadoop-daemon.sh start datanode hadoop fs shell命令 查看命令帮助 hadoop fs - 阅读全文
posted @ 2020-02-21 19:37 牛皮糖比 阅读(111) 评论(0) 推荐(0)
hadoop伪分布式安装和部署
摘要：准备环境 系统为centos7.4的虚拟机，jdk环境，方便运行hadoop相关工具 jdk安装 cd /opt/install rz jdk的本地目录 #上传JDKtar -zxvf jdk #解压jdkmv jdk /opt/software/jdk1.8 #移动并重命名 环境变量 vim /e 阅读全文
posted @ 2020-02-20 19:57 牛皮糖比 阅读(197) 评论(0) 推荐(0)