02 2020 档案

HDFS客户端读写流程及checkpoint
摘要：1.HDFS客户端写流程 1）客户端请求上传数据到服务器 2）服务器接收到这个请求，然后到自己的元数据里面去查询，元数据中是否记录了该文件的存在 3）NN响应客户端是否可以上传 4）服务器会发送再次请求，需要上传多大的数据文件 5）服务器会检查DataNode的信息 6）服务器会根据上传文件大小进行 阅读全文
posted @ 2020-02-29 12:53 itch 阅读(266) 评论(0) 推荐(0)
HDFS扩容
摘要：HDFS的扩容方式 方式一：横向扩容，添加节点：参考https://www.cnblogs.com/IT_CH/p/12361096.html 方式二：纵向扩容，通过添加硬盘，扩充HDFS的容量【通过增加DataNode的容量实现纵向扩容】 如何纵向扩容？ 1.添加一块新硬盘 通过lsblk命令查看 阅读全文
posted @ 2020-02-26 10:41 itch 阅读(436) 评论(0) 推荐(0)
完全分布式搭建及脚本启动
摘要：一.完全分布式的搭建 先准备2台虚拟机： 1) 将原来搭建伪分布式的那台虚拟机克隆一台：https://www.cnblogs.com/IT_CH/p/12336594.html 2) 对克隆的机器做修改如下几个配置 （1）修改克隆机器的IP地址 修改完之后记得重启网络：systemctl rest 阅读全文
posted @ 2020-02-25 12:41 itch 阅读(530) 评论(0) 推荐(0)
多表查询分页[多次查询]
摘要：问题描述： 1：我们使用PageHelper插件的时候，PageHelper.startPage(pageNow,pageSize)要放在查询语句的前面 2：当startPage的后面有多次查询的话，它只对第一条查询语句有效果 3：假如要进行多次查询，然后对结果进行分页，关注点是：对最后的结果进行分 阅读全文
posted @ 2020-02-24 23:06 itch 阅读(5660) 评论(0) 推荐(0)
菜单的三级联动[城市]
摘要：如何做一个三级联动的菜单 效果：选择1级菜单，显示2级的对应的菜单，选择2级菜单，显示3级对应的菜单； 重新选择1级，2级3级下拉菜单全部清空； 1.数据准备 2.先用代码生成器生成dto,mapper层代码 代码生成器的使用.....【待补】 只用修改dto层的代码【我们需要对查询出来的结果进行排 阅读全文
posted @ 2020-02-23 16:30 itch 阅读(562) 评论(0) 推荐(0)
Java Api操作HDFS
摘要：小广告...：https://www.mvclub.xyz/【个人搭建的一个电影网站】 使用idea工具 创建的是maven项目，操作linux环境 首先需要配置好Maven环境，如果下载jar包下的慢，可以将镜像站换为阿里云的镜像【配置maven环境参考：...............(待完成)】 阅读全文
posted @ 2020-02-22 15:04 itch 阅读(1050) 评论(0) 推荐(0)
Hadoop命令 hadoop fs
摘要：命令的基本格式： 在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado 阅读全文
posted @ 2020-02-21 08:53 itch 阅读(979) 评论(0) 推荐(0)
Hadoop的安装与配置（伪分布式）
摘要：0.环境准备（准备一台空白的虚拟机） 1.对上传的软件做管理（规划） cd /opt目录下：mkdir insytall software test other /opt/install 上传用 /opt/software 安装用（解压后的） /opt/other 其他软件 /opt/test 测试 阅读全文
posted @ 2020-02-20 17:28 itch 阅读(596) 评论(0) 推荐(0)