随笔分类 -  Hadoop

上一页 1 2 3
HDFS NameNode故障排除
摘要：一、将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 1、制造故障 # 1. 杀死进程 kill 9 NameNode进程 # 2. 删除NameNode文件rm -rf /opt/module/hadoop-2.7.7/data/tmp/dfs/name/* 2、拷贝 阅读全文
posted @ 2020-09-01 09:58 市丸银 阅读(540) 评论(0) 推荐(0)
HDFS CheckPoint时间设置
摘要：一、CheckPoint的触发条件 1、间隔固定时间 2、记录达到一定的次数 二、配置文件 vim hdfs-site.xml <!--checkpoint时间--> <property> <name>dfs.namenode.checkpoint.period</name> <value>3600 阅读全文
posted @ 2020-09-01 07:51 市丸银 阅读(453) 评论(0) 推荐(0)
HDFS NameNode和SecondaryNameNode
摘要：一、工作机制 1、原理 NameNode元数据储存在内存中，存在断电及消失的特性，因此产生磁盘备份元数据FsImage，但是当NameNode元数据更新时，若要时刻备份元数据到FsImage，效率会低下，因此使用Edites文件，当元数据更新时，对Edits文件进行追加操作，当发生断电时，FsIma 阅读全文
posted @ 2020-08-31 22:47 市丸银 阅读(206) 评论(0) 推荐(0)
HDFS 数据流程
摘要：1、网络拓扑-节点距离计算 节点距离：两个节点到达最近的共同祖先的距离总和(一条线的长度为1) 2、机架感知-副本储存节点选择 当副本为三个时： 本地机架上的一个节点 本地机架上的另一个节点 不同机架的不同节点 3、读写数据流 1)、读 (fs)向NameNode请求读取文件 -> NameNode 阅读全文
posted @ 2020-08-31 21:12 市丸银 阅读(175) 评论(0) 推荐(0)
HDFS IO流操作
摘要：一、IO流文件上传 @Test public void testIOPut() throws URISyntaxException, IOException, InterruptedException { // 1. 获取对象 Configuration conf = new Configurati 阅读全文
posted @ 2020-08-31 19:20 市丸银 阅读(208) 评论(0) 推荐(0)
HDFS API操作
摘要：一、HDFS 文件上传 @Test public void testCopyFromLocal() throws URISyntaxException, IOException, InterruptedException { // 1. 获取 fs 对象 Configuration conf = n 阅读全文
posted @ 2020-08-31 12:00 市丸银 阅读(185) 评论(0) 推荐(0)
Hadoop 客户端环境准备
摘要：前提：安装windows Hadoop 一、IDEA IntelliJ IDEA 二、搭建 1、创建maven项目 2、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> < 阅读全文
posted @ 2020-08-31 09:28 市丸银 阅读(185) 评论(0) 推荐(0)
Hadop 环境搭建 windows10+hadoop2.7.7
摘要：1、安装配置JDK 2、安装Cygwin 参考：https://www.cnblogs.com/feipeng8848/p/8555648.html 3、安装hadoop https://blog.csdn.net/qq_35535690/article/details/81976032 阅读全文
posted @ 2020-08-31 09:04 市丸银 阅读(560) 评论(0) 推荐(0)
Hadoop HDFS shell
摘要：一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R 阅读全文
posted @ 2020-08-30 13:35 市丸银 阅读(523) 评论(0) 推荐(0)
Hadoop HDFS 基础
摘要：一、优缺点 A、优点 1、高容错性 默认开启三个副本 2、适合处理大数据 3、廉价 B、缺点 1、速度慢，不适合低延迟的数据访问 2、无法高效的对大量小文件进行存储，小文件占用 NameNode 3、不支持并发写入，只支持append(追加) HDFS块的大小设置主要取决于磁盘传输速率（机器性能） 阅读全文
posted @ 2020-08-30 11:02 市丸银 阅读(92) 评论(0) 推荐(0)
centos 更改清华源
摘要：官方地址：https://mirrors.tuna.tsinghua.edu.cn/help/centos/ 前提：连接外网 1、copy sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 阅读全文
posted @ 2020-08-29 22:19 市丸银 阅读(2122) 评论(0) 推荐(0)
Hadoop运行模式
摘要：重要：信息用原生JDK坑太多了，所以卸掉，安装自己的JDK 参考博客：https://www.cnblogs.com/jpfss/p/9677827.html 官方：https://hadoop.apache.org/ 文档：http://hadoop.apache.org/docs/r2.7.7/ 阅读全文
posted @ 2020-08-22 21:37 市丸银 阅读(309) 评论(0) 推荐(0)
Hadoop运行环境搭建
摘要：不同Linux，操作不同 一、环境配置(CentOS7) 0、安装Linux实体机 1、开启远程连接 a、检测 openssh-server 是否安装 yum list installed | grep openssh-server b、安装 openssh-server yum install o 阅读全文
posted @ 2020-08-21 22:42 市丸银 阅读(176) 评论(0) 推荐(0)
Hadoop简介
摘要：一、特点 1、高可靠性 2、高扩展性 3、高效性 4、高容错性 二、发行版本 1、Apache版本 2、CDH版本 3、Hortonworks版本 三、Hadoop版本区别 Hadoop 1.X HDFS 数据存储 MapReduce 计算 + 资源调度 Hadoop2.X HDFS 数据存储 Ya 阅读全文
posted @ 2020-08-21 07:27 市丸银 阅读(257) 评论(0) 推荐(0)
大数据简介
摘要：一、概念： 1、海量数据的储存 2、海量数据的分析计算二、特点(4V) 1、大量 2、高速 3、多样 4、低价值密度 阅读全文
posted @ 2020-08-20 23:19 市丸银 阅读(195) 评论(0) 推荐(0)

上一页 1 2 3