04 2023 档案

14、HDFS 透明加密KMS
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-28 17:33 一瓢一瓢的饮 阅读(455) 评论(0) 推荐(0)
13、HDFS Snapshot快照
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-28 16:31 一瓢一瓢的饮 阅读(242) 评论(0) 推荐(0)
12、HDFS Trash垃圾桶回收介绍与示例
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-25 11:07 一瓢一瓢的饮 阅读(254) 评论(0) 推荐(0)
11、hadoop环境下的Sequence File的读写与合并
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-25 10:45 一瓢一瓢的饮 阅读(314) 评论(0) 推荐(0)
10、HDFS小文件解决方案--Archive
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-25 10:21 一瓢一瓢的饮 阅读(654) 评论(0) 推荐(0)
9、hadoop高可用HA集群部署及三种方式验证
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 16:42 一瓢一瓢的饮 阅读(227) 评论(0) 推荐(0)
8、HDFS内存存储策略支持和“冷热温”存储
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 15:42 一瓢一瓢的饮 阅读(635) 评论(0) 推荐(0)
7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 10:59 一瓢一瓢的饮 阅读(546) 评论(0) 推荐(0)
6、HDFS的HttpFS-代理服务
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 10:22 一瓢一瓢的饮 阅读(277) 评论(0) 推荐(0)
5、HDFS API的RESTful风格--WebHDFS
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 09:54 一瓢一瓢的饮 阅读(610) 评论(0) 推荐(0)
4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-24 08:56 一瓢一瓢的饮 阅读(585) 评论(0) 推荐(0)
3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-23 17:32 一瓢一瓢的饮 阅读(491) 评论(0) 推荐(0)
2、HDFS操作 - shell客户端
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-23 17:13 一瓢一瓢的饮 阅读(130) 评论(0) 推荐(0)
1、hadoop3.1.4简单介绍及部署、简单验证
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-04-23 16:40 一瓢一瓢的饮 阅读(938) 评论(0) 推荐(0)
5、zookeeper的java -Curator（服务注册与发现）
摘要：Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举 经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文
posted @ 2023-04-23 15:08 一瓢一瓢的饮 阅读(858) 评论(0) 推荐(0)
4、zookeeper的java三种客户端介绍-Curator（crud、事务操作、监听、分布式计数器、分布式锁）
摘要：Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举 经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文
posted @ 2023-04-23 09:42 一瓢一瓢的饮 阅读(727) 评论(0) 推荐(0)
3、zookeeper的选举----经验证符合事实，网上很多都是错误的
摘要：Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举 经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文
posted @ 2023-04-21 14:37 一瓢一瓢的饮 阅读(542) 评论(0) 推荐(0)
2、zookeeper基本操作及应用示例（shell、java api、应用场景示例）
摘要：Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举 经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文
posted @ 2023-04-21 13:25 一瓢一瓢的饮 阅读(266) 评论(0) 推荐(0)
1、zookeeper3.7.1安装与验证
摘要：Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举 经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文
posted @ 2023-04-21 10:26 一瓢一瓢的饮 阅读(834) 评论(0) 推荐(0)
0、hadoop3.1.4的centos7-snappy编译
摘要：本文介绍hadoop 3.1.4版本在centos 7的环境中编译步骤。 本示例是以root用户进行操作的，如果非root用户可能会需要root权限。 目录 一、前提 1、查看操作系统能够版本 2、准备好编译所需要的环境 3、网络可以连接外网 二、操作步骤 1、安装gcc相关 2、手动安装cmake 阅读全文
posted @ 2023-04-20 17:37 一瓢一瓢的饮 阅读(133) 评论(0) 推荐(0)
2、设置非root用户的sudo权限
摘要：本文是为后续部署CDH组件准备的，因为CDH部署时必须root用户或具备root权限的免密登录。 一、设置非root用户的sudo权限（需要密码） 前提：其他用户登录linux系统 实现有4个步骤 1、进入超级用户模式 su - # 系统会让你输入超级用户密码，输入密码后就进入了超级用户模式 2、添 阅读全文
posted @ 2023-04-20 17:11 一瓢一瓢的饮 阅读(184) 评论(0) 推荐(0)
1、Linux免密登录设置
摘要：目录 一、前提 二、具体操作 1、四台机器均需要做的操作，以server1为示例 2、在server1上做，将生成的密钥放在authorized_keys文件中 3、分别登录server2、server3、server4做如下操作，以server2为例。将id_rsa.pub复制到server1上 阅读全文
posted @ 2023-04-20 16:59 一瓢一瓢的饮 阅读(777) 评论(0) 推荐(0)