狮子对你微笑

摘要： Maven 开发过程中的问题 Maven是什么 没有Maven时? 有了Maven后 Maven相关网站 Maven下载 配置环境变量 本地仓储配置 中央仓库配置 常用的中央仓库地址 完整的配置如下： 完整的项目流程 使用骨架 POM.XML详解 头文件 项目标识 全局变量定义 依赖 具体的坐标 s 阅读全文

摘要： 1. 写操作 1. 客户端向namenode发起上传请求 2. namenode检查datanode是否已经存有该文件，并且检查客户端的权限 3. 确认可以上传后，根据文件块数返回datanode栈 注：namenode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上 阅读全文

摘要： 1. datanode介绍 1.1 datanode datanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的，保存的文件夹位置由配置选项{dfs.data.dir}决定 1.2 datanode的作用 datanode以数据块的形式存储HDFS文件 datanode响应HD 阅读全文

摘要： 1. namenode介绍 namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件fsimage和编辑日志文件edits。NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信 阅读全文

摘要： 行内式CSS样式 在标签内部使用的样式 内嵌式CSS样式 链接式CSS样式 导入式CSS样式 阅读全文

摘要： 1.纵向扩容（添加硬盘） 1.1 添加硬盘 确定完成添加，运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 centerOS7的默认文件系统是xfs，centerOS6默认的文件系统是ext4 1.3 挂载 mount 分的区 被挂载的文件夹 注：umount /dev/sdb1 /sdb1 取 阅读全文

摘要： 问题描述 通过start dfs.sh启动了三个节点 但无法通过IP访问50070端口 问题分析 1.可能是防火墙没关，被拦截了 果然，防火墙没关 再将防火墙设为开机不启动 再访问节点，成功了 阅读全文

摘要： 1.准备阶段 准备好两台虚拟机(安装好hadoop,见：https://www.cnblogs.com/cjq10029/p/12336446.html)，计划： 2.开始操作 1.同步时间 2.配置IP映射 3.配置免密 授权免密访问 hdp01 hdp01 hdp01 hdp02 4.修改hdf 阅读全文

摘要： 操作hdfs的基本命令 在hdfs中，路径需要用绝对路径 1. 查看根目录 hadoop fs ls / 2. 递归查看所有文件和文件夹 lsr等同于 ls R hadoop fs lsr / 3. 创建文件夹 hadoop fs mkidr /hello 4. 创建多级文件夹 hadoop fs 阅读全文

摘要： Java实现对HDFS文件系统的基本操作 1.准备好jar包 2.创建一个类 1. 测试连接 @Test //测试是否连接成功 public void test() { //添加配置 == core site.xml Configuration conf = new Configuration(); 阅读全文