摘要：
1 基本操作 package com.atguigu.hdfsclient; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf. 阅读全文
posted @ 2020-07-13 09:20
秋华
阅读(210)
评论(0)
推荐(0)
摘要：
1．基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 dfs是fs的实现类。 2．命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst 阅读全文
posted @ 2020-07-12 23:23
秋华
阅读(251)
评论(0)
推荐(0)
摘要：
1 HDFS产出背景及定义 2 HDFS优缺点 3 HDFS组成架构 4 HDFS文件块大小（面试重点） 阅读全文
posted @ 2020-07-12 22:48
秋华
阅读(197)
评论(0)
推荐(0)
摘要：
1 安装JDK 1） 卸载现有JDK （1）查询是否安装Java软件： [atguigu@hadoop101 opt]$ rpm -qa | grep java （2）如果安装的版本低于1.7，卸载该JDK： [atguigu@hadoop101 opt]$ sudo rpm -e 软件包 （3）查 阅读全文
posted @ 2020-07-12 22:27
秋华
阅读(864)
评论(0)
推荐(0)
摘要：
0 概述 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 1）. 克隆虚拟机 2）. 修改克隆虚拟机的静态IP 3）. 修改主机名 4）. 阅读全文
posted @ 2020-07-12 21:38
秋华
阅读(284)
评论(0)
推荐(0)
摘要：
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： 阅读全文
posted @ 2020-07-12 10:10
秋华
阅读(768)
评论(0)
推荐(0)
摘要：
1 Hadoop是什么 2 Hadoop发展历史（了解） 3 Hadoop三大发行版本（了解） Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera内部集成了很多大数据框架，对应产品C 阅读全文
posted @ 2020-07-11 23:07
秋华
阅读(341)
评论(0)
推荐(0)
摘要：
1.大数据概念 2 大数据特点（4V） 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 3 大数据应用场景 4 大数据发展前景 5 大数据部门业务流程分析 6 大数据部门组织结构（重点） 大数据部门组织结构，适用于大中型企业，如图 阅读全文
posted @ 2020-07-11 22:51
秋华
阅读(242)
评论(0)
推荐(0)
摘要：
一、下载Hadoop jar包至非中文路径 下载链接：https://hadoop.apache.org/releases.html 解压至非中文路径 二、配置Hadoop环境变量 配置HADOOP_HOME环境变量 配置Path环境变量 三、创建一个Maven工程 创建一个名为HdfsClient 阅读全文
posted @ 2020-07-11 21:33
秋华
阅读(507)
评论(0)
推荐(0)
摘要：
使用Xshell的rz命令上传文件失败的解决方法 第一种：在home目录下rz上传文件失败，如下： 原因：当前用户不具备权限解决：用 sudo rz 上传即可成功 第二种：对于文件大的rz上传失败的话，用 rz -be 进行上传因为如果用不带参数的rz命令上传大文件时，常常上传一半就断掉了，很可能是 阅读全文
posted @ 2020-07-10 10:05
秋华
阅读(15954)
评论(0)
推荐(3)
浙公网安备 33010602011771号