07 2020 档案

DataNode的工作机制
摘要：1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有 阅读全文
posted @ 2020-07-27 15:58 学习大数据入门到放弃 阅读(160) 评论(0) 推荐(0)
HDFS的读写
摘要：1.写数据 1）客户端创建Distributed FileSystem模块 2）向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 3）NameNode返回是否可以上传。 4）客户端请求第一个 Block上传到哪个DataNode服务器节点上 5）NameNod 阅读全文
posted @ 2020-07-25 17:13 学习大数据入门到放弃 阅读(102) 评论(0) 推荐(0)
HDFS客户端及API的操作
摘要：HDFS客户端环境准备 1.根据本机windows操作系统使用对应编译hadoop的jar包到非中文目录下（目录不能包含空格，如:D:\Develop\hadoop-2.7.2） 2.配置HADOOP_HOME环境变量 3.配置Path环境变量 4.使用idea创建一个Maven工程hdfsClie 阅读全文
posted @ 2020-07-23 16:08 学习大数据入门到放弃 阅读(609) 评论(0) 推荐(0)
Hdfs block数据块大小的设置规则
摘要：1.概述 hadoop集群中文件的存储都是以块的形式存储在hdfs中。 2.默认值 从2.7.3版本开始block size的默认大小为128M，之前版本的默认值是64M. 3.如何修改block块的大小？ 可以通过修改hdfs-site.xml文件中的dfs.blocksize对应的值。 注意：在 阅读全文
posted @ 2020-07-23 11:11 学习大数据入门到放弃 阅读(4055) 评论(0) 推荐(0)
hadoop编译源码
摘要：重新安装一台新的虚拟机，设备好网络等，用root角色进行编译，减少文件夹权限问题 准备工作 1.linux系统能连接外网 2.jar包准备 a. hadoop-2.7.2-src.tar.gz b. jdk-8u144-linux-x64.tar.gz c. apache-ant-1.9.9-bin 阅读全文
posted @ 2020-07-23 09:13 学习大数据入门到放弃 阅读(185) 评论(0) 推荐(0)
HDFS常用命令
摘要：1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / 阅读全文
posted @ 2020-07-22 18:05 学习大数据入门到放弃 阅读(402) 评论(0) 推荐(0)
SSH无密登录配置及群起集群
摘要：1.配置ssh a.语法 ssh另一台电脑的IP地址 b.无密钥配置 1）原理 2）生成公钥和私钥(在hadoop11机子上) 进行hadoop用户的目录下 命令：ls -al 进行.ssh目录下 命令:ssh-keygen -t rsa 三次“回车键”就会生成两个文件id_rsa(私钥)、id_r 阅读全文
posted @ 2020-07-22 14:23 学习大数据入门到放弃 阅读(252) 评论(0) 推荐(1)
hadoop集群单点启动
摘要：1.虚拟机（hadoop11）中的hadoop如是第一次启动，则需要格式化namenode 命令: hadoop namenode -format 注意：如之前有安装过，则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n 阅读全文
posted @ 2020-07-21 15:15 学习大数据入门到放弃 阅读(682) 评论(0) 推荐(0)
hadoop集群配置
摘要：1.集群部署规划 hadoop11 hadoop12 hadoop13 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManage 阅读全文
posted @ 2020-07-21 14:38 学习大数据入门到放弃 阅读(189) 评论(0) 推荐(0)
centos6.8中Hadoop运行环境搭建
摘要：虚拟机环境准备 1.创建一个新的虚拟机 如是克隆的虚拟机则需要先修改以下文件 vim /etc/udev/rules.d/70-persistent-net.rules 2.设备虚拟机的静态ip vim /etc/sysconfig/network-scripts/ifcfg-eth0 3.修改主机 阅读全文
posted @ 2020-07-20 14:50 学习大数据入门到放弃 阅读(183) 评论(0) 推荐(0)
linux组管理及权限
摘要：组的创建 指令：groupadd 组名 应用实例 创建一个组，testgroup groupadd testgroup 创建一个用户test1,并放入到testgroup组中 useradd -g testgroup test1 修改用户密码 passwd test1 使用test1登录linux 阅读全文
posted @ 2020-07-16 18:00 学习大数据入门到放弃 阅读(205) 评论(0) 推荐(0)
linux下的打包、压缩及解压命令
摘要：使用tar命令 打包 tar -zcvf 目标文件名 需打包的文件或文件夹 单个文件或文件夹打包 tar -zcvf create.tar.gz create.txt 此命令是将create.txt打包为tar并压缩为gz，如果不加.gz后缀名则不压缩，仅打包 多个文件或文件夹一起打包 tar -z 阅读全文
posted @ 2020-07-16 15:37 学习大数据入门到放弃 阅读(454) 评论(0) 推荐(0)
centos时间同步
摘要：1.安装ntpdate yum -y install ntp ntpdate 2.修改为上海时区 vim /etc/sysconfig/clock 3.使用文件修改生效 ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 4. 设置时间同步 阅读全文
posted @ 2020-07-15 16:45 学习大数据入门到放弃 阅读(1338) 评论(0) 推荐(0)
linux运行级别及如何找回root密码
摘要：1.运行级别 0：关机 1：单用户（找回丢失密码) 2：多用户无网络服务 3：多用户有网络服务 4：系统未使用保留给用户 5：图形界面 6：系统重启 常用的运行级别是3和5，要修改默认的运行级可修改如下文件 /etc/inittab的id:5:initdefault:这一行中的数字 命令： init 阅读全文
posted @ 2020-07-15 14:53 学习大数据入门到放弃 阅读(165) 评论(0) 推荐(0)
linux下的用户管理
摘要：useradd 可用来建立用户帐号。帐号建好之后，再用 passwd 设定帐号的密码。而可用 userdel 删除帐号。使用 useradd 指令所建立的帐号，实际上是保存在 /etc/passwd 文本文件中。 语法 useradd [-mMnr][-c <备注>][-d <登入目录>][-e < 阅读全文
posted @ 2020-07-15 14:32 学习大数据入门到放弃 阅读(132) 评论(0) 推荐(0)
linux关机、重启和用户登录注销
摘要：关机及重启 1.shutdown shutdown -h now:立即关机 shutdown -h 1:1分钟后关机 shutdown -r now:立即重启 2.halt 立即关机 3.reboot 重启计算机 4.syn 把内存的数据同步到磁盘，当关机或者重启时，都应先执行sync指令，把内存数 阅读全文
posted @ 2020-07-15 10:41 学习大数据入门到放弃 阅读(141) 评论(0) 推荐(0)
vm中centos6.8配置nat静态ip
摘要：本机配置VMnet8网络 vmware的“虚拟网络编辑器”配置如下 配置nat网关 进入centos linux系统 1.修改network文件 vi /etc/syconfig/network 2.修改ifcfg-eth0网卡文件内容 vi /etc/syconfig/network-script 阅读全文
posted @ 2020-07-14 18:05 学习大数据入门到放弃 阅读(80) 评论(0) 推荐(0)