上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 21 下一页
摘要: HDFS文件和文件夹判断 @Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信息 Configuration configuratio 阅读全文
posted @ 2023-10-06 22:44 lcz111 阅读(4) 评论(0) 推荐(0)
摘要: HDFS文件详情查看 查看文件名称、权限、长度、块信息 @Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration 阅读全文
posted @ 2023-10-06 14:42 lcz111 阅读(7) 评论(0) 推荐(0)
摘要: HDFS文件更名和移动 @Test public void testRename() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new 阅读全文
posted @ 2023-10-04 19:28 lcz111 阅读(11) 评论(0) 推荐(0)
摘要: HDFS文件下载 @Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration 阅读全文
posted @ 2023-10-03 19:12 lcz111 阅读(12) 评论(0) 推荐(0)
摘要: HDFS文件上传(测试参数优先级) 1)编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configu 阅读全文
posted @ 2023-09-28 19:59 lcz111 阅读(14) 评论(0) 推荐(0)
摘要: 1)-copyToLocal:从HDFS拷贝到本地 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./ 2)-get:等同于copyToLocal,生产环境更习惯用get [atguigu@ha 阅读全文
posted @ 2023-09-27 23:30 lcz111 阅读(9) 评论(0) 推荐(0)
摘要: 1)启动Hadoop集群(方便后续的测试) [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 2)-help:输出这个命令参数 [atgui 阅读全文
posted @ 2023-09-26 19:49 lcz111 阅读(12) 评论(0) 推荐(0)
摘要: 1)HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2)HDFS定义 HDFS(Hadoop Distrib 阅读全文
posted @ 2023-09-25 20:43 lcz111 阅读(8) 评论(0) 推荐(0)
摘要: Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Hadoop的资源管理器。 MapReduce将计算过程分为两个阶段:Map和Reduce 1)Map 阅读全文
posted @ 2023-09-24 20:59 lcz111 阅读(13) 评论(0) 推荐(0)
摘要: Hadoop三大发行版本:Apache、Cloudera、Hortonworks。 Apache版本最原始(最基础)的版本,对于入门学习最好。2006 Cloudera内部集成了很多大数据框架,对应产品CDH。2008 Hortonworks文档较好,对应产品HDP。2011 Hortonworks 阅读全文
posted @ 2023-09-23 22:07 lcz111 阅读(15) 评论(0) 推荐(0)
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 21 下一页