04 2019 档案

【技术】Hadoop安装——全分布模式（重点）
摘要：（1）规划： 10.1.255.121 bigdata121 ：主节点 10.1.255.122 bigdata122 ：从节点 10.1.255.123 bigdata123 ：从节点 （2）准备工作： step 1:jdk、防火墙、ssh免密码登录（3次拷贝）、在etc/hosts 添加主机名。 阅读全文
posted @ 2019-04-30 17:28 南简 阅读(52) 评论(0) 推荐(0)
【技术】SSH免密码登录
摘要：SSH不对称加密算法（加密和解密是两个文件）。（对称加密：加密和解密文件是同一个） （1）公钥——锁：给出去，给其他机器。 （2）私锁——钥匙：自己留着，解密。 step1:ssh-keygen -t rsa（3次回车） step2:ssh-copy-id -i ~/.ssh/id_rsa.pub 阅读全文
posted @ 2019-04-25 17:23 南简 阅读(25) 评论(0) 推荐(0)
【技术】Hadoop安装——本地安装伪分布模式
摘要：(1)特点：在一台机器上模拟一个分布式环境具备hadoop的所有功能。 HDFS：NameNode+DataNode+SecondarynameNode Yarn：ResourceManager+NodeManager (2)步骤： ** step1:hadoop-env.sh ** JAVA_HO 阅读全文
posted @ 2019-04-18 16:13 南简 阅读(42) 评论(0) 推荐(0)
【技术】Hadoop安装——本地安装
摘要：（1）特点：没有HDFS和Yarn 只能够测试MR程序是否成功， 作为一个普通的java程序。 （2）步骤： cd /opt/moudle/hadoop-2.7.3/etc/hadoop/ vim hadoop-env.sh：set number 修改25行（行数不一 hadoop版本不一致） JA 阅读全文
posted @ 2019-04-16 16:26 南简 阅读(33) 评论(0) 推荐(0)
【技术】Hadoop的安装准备工作
摘要：(1) 安装好linux操作系统（IP配置）(2) 关闭防火墙 systemctl stop（disable） firewalld.service (3) 安装Jdk--winscp 上传 opt/software 解压到 opt/moudle(4) Hadoop安装包 虚拟机的克隆 scp（拷贝） 阅读全文
posted @ 2019-04-16 16:02 南简 阅读(25) 评论(0) 推荐(0)
【技术】Hadoop目录介绍
摘要：hadoop-2.7.3/ *Hadoop home* ├── bin *hadoop 操作命令* ├── etc │ └── hadoop hadoop环境变量配置 ├── include ├── lib │ └── native ├── libexec ├── sbin hadoop的集群操作命 阅读全文
posted @ 2019-04-10 16:06 南简 阅读(19) 评论(0) 推荐(0)
【技术】linux中安装jdk
摘要：（1）解压缩包 # tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/moudle 注意rpm的解压方式：# rpm -ivh tree-1.6.0-10.el7.x86_64.rpm （2）配置环境变量 # vim ~/.bash_profile 编辑内容如 阅读全文
posted @ 2019-04-10 11:11 南简 阅读(20) 评论(0) 推荐(0)