摘要：
1.概述 hadoop集群中文件的存储都是以块的形式存储在hdfs中。 2.默认值 从2.7.3版本开始block size的默认大小为128M，之前版本的默认值是64M. 3.如何修改block块的大小？ 可以通过修改hdfs-site.xml文件中的dfs.blocksize对应的值。 注意：在 阅读全文
posted @ 2020-07-23 11:11
学习大数据入门到放弃
阅读(4055)
评论(0)
推荐(0)
摘要：
重新安装一台新的虚拟机，设备好网络等，用root角色进行编译，减少文件夹权限问题 准备工作 1.linux系统能连接外网 2.jar包准备 a. hadoop-2.7.2-src.tar.gz b. jdk-8u144-linux-x64.tar.gz c. apache-ant-1.9.9-bin 阅读全文
posted @ 2020-07-23 09:13
学习大数据入门到放弃
阅读(185)
评论(0)
推荐(0)
摘要：
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / 阅读全文
posted @ 2020-07-22 18:05
学习大数据入门到放弃
阅读(402)
评论(0)
推荐(0)
摘要：
1.配置ssh a.语法 ssh另一台电脑的IP地址 b.无密钥配置 1）原理 2）生成公钥和私钥(在hadoop11机子上) 进行hadoop用户的目录下 命令：ls -al 进行.ssh目录下 命令:ssh-keygen -t rsa 三次“回车键”就会生成两个文件id_rsa(私钥)、id_r 阅读全文
posted @ 2020-07-22 14:23
学习大数据入门到放弃
阅读(252)
评论(0)
推荐(1)
摘要：
1.虚拟机（hadoop11）中的hadoop如是第一次启动，则需要格式化namenode 命令: hadoop namenode -format 注意：如之前有安装过，则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n 阅读全文
posted @ 2020-07-21 15:15
学习大数据入门到放弃
阅读(682)
评论(0)
推荐(0)
摘要：
1.集群部署规划 hadoop11 hadoop12 hadoop13 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManage 阅读全文
posted @ 2020-07-21 14:38
学习大数据入门到放弃
阅读(189)
评论(0)
推荐(0)
摘要：
虚拟机环境准备 1.创建一个新的虚拟机 如是克隆的虚拟机则需要先修改以下文件 vim /etc/udev/rules.d/70-persistent-net.rules 2.设备虚拟机的静态ip vim /etc/sysconfig/network-scripts/ifcfg-eth0 3.修改主机 阅读全文
posted @ 2020-07-20 14:50
学习大数据入门到放弃
阅读(183)
评论(0)
推荐(0)
摘要：
组的创建 指令：groupadd 组名 应用实例 创建一个组，testgroup groupadd testgroup 创建一个用户test1,并放入到testgroup组中 useradd -g testgroup test1 修改用户密码 passwd test1 使用test1登录linux 阅读全文
posted @ 2020-07-16 18:00
学习大数据入门到放弃
阅读(205)
评论(0)
推荐(0)
摘要：
使用tar命令 打包 tar -zcvf 目标文件名 需打包的文件或文件夹 单个文件或文件夹打包 tar -zcvf create.tar.gz create.txt 此命令是将create.txt打包为tar并压缩为gz，如果不加.gz后缀名则不压缩，仅打包 多个文件或文件夹一起打包 tar -z 阅读全文
posted @ 2020-07-16 15:37
学习大数据入门到放弃
阅读(454)
评论(0)
推荐(0)
摘要：
1.安装ntpdate yum -y install ntp ntpdate 2.修改为上海时区 vim /etc/sysconfig/clock 3.使用文件修改生效 ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 4. 设置时间同步 阅读全文
posted @ 2020-07-15 16:45
学习大数据入门到放弃
阅读(1338)
评论(0)
推荐(0)
浙公网安备 33010602011771号