随笔分类 -  Hadoop

摘要:可能大家会问,oracle和HDFS属于不同场景的存储系统,它们之间为什么会有联系呢?确实,从技术本身来看,他们确实无关联,但利用“整体学习”的思想,跳出技术本身,可以发现Oracle的缓冲区和HDFS的edit logs都是为了解决频繁IO而出现的,可以解决因频繁读写磁盘而导致性能低的问题。如下图 阅读全文
posted @ 2018-06-09 19:59 程序员姜小白 阅读(390) 评论(0) 推荐(0)
摘要:先来说说什么是分布式锁,简单来说,分布式锁就是在分布式并发场景中,能够实现多节点的代码同步的一种机制。从实现角度来看,主要有两种方式:基于redis的方式和基于zookeeper的方式,下面分别简单介绍下这两种方式: 请尊重作者劳动成果,转载请标明原文链接: https://www.cnblogs. 阅读全文
posted @ 2018-06-06 22:38 程序员姜小白 阅读(2439) 评论(0) 推荐(8)
摘要:属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 处理所有客户端请求的RPC地址,若在HA场景中,可能有多个namenode,就把名称ID添加到进来。该属性的格式为nn-host1:rpc 阅读全文
posted @ 2018-05-07 21:56 程序员姜小白 阅读(14735) 评论(0) 推荐(1)
摘要:导读:关于hadoop的配置文件,目前其它网站资料中都是只写了几个常用的属性配置,但平时可能也会用到其它属性,这里就一起写出来,供大家参考。本篇先从core-site.xml开始,后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.ve 阅读全文
posted @ 2018-04-25 00:09 程序员姜小白 阅读(11473) 评论(0) 推荐(2)