摘要: 1、Volatile:http://www.cnblogs.com/aigongsi/archive/2012/04/01/2429166.html 2、悲观锁与乐观锁:http://www.cnblogs.com/softidea/p/5309312.html 3、乐观锁的一种实现方式:http: 阅读全文
posted @ 2016-11-21 14:11 风儿飞 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Java NIO与IO的区别: 传统的IO:需要为每个连接建立一个线程,当并发数量巨大时,对内存及线程切换的开销巨大,NIO提供线程池,不再为每个连接建立单独的线程,提供了非阻塞的能力。 Java NIO:非阻塞型I/O的异步输入输出机制 一、传统阻塞I/O:BIO通信 服务端通常由一个单独的Acc 阅读全文
posted @ 2016-11-10 11:39 风儿飞 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 最近有时间整理了一下全套hadoop2.x通过Zookeeper来实现namenode的HA方案,步骤如下: 实验使用了4个节点,192.168.1.201~192.168.1.2041、配置静态IP,如下以201节点为例,其它节点除了IP不一样,其它内容配置一样即可: 2、修改host,每个节点内 阅读全文
posted @ 2016-06-26 00:02 风儿飞 阅读(1634) 评论(0) 推荐(0) 编辑
摘要: oozie已经用了一段时间,但是只用到coordinator级别,还没用过bundle,今天研究了一下,也可以参考oozie手册学习一下,地址:http://cs-achelous-client-15793.hadoop.jd.com:11000/oozie/docs/BundleFunctiona 阅读全文
posted @ 2016-06-02 18:54 风儿飞 阅读(1278) 评论(0) 推荐(0) 编辑
摘要: 一、Hbase是一个开源的、分布式、面向列的存储模型 二、Hbase体系结构: 遵从简单的主从服务器架构,由HRegion Server群、Hbase Master服务器组成,Hbase Master负责管理所有的HRegion Server,通过zookeeper协调,Hbase逻辑上的表会被划分 阅读全文
posted @ 2016-03-17 19:44 风儿飞 阅读(427) 评论(0) 推荐(0) 编辑
摘要: 一些准备工作就不说了,包括设置ssh连接等,主要说一下配置文件内容及启动过程,以192.168.157.100~105几台服务器为例: 1、core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs: 阅读全文
posted @ 2016-02-25 11:06 风儿飞 阅读(244) 评论(0) 推荐(0) 编辑
摘要: http://www.superwu.cn/2014/02/12/1094/基本安装教程按照上面的安装即可,但是安装过程中还是出现了一些问题,现整理如下:1、首先使用root用户安装可以,也省去了很多权限问题,但是最好别用,不容易发现问题,添加用户:如果是新用户,直接添加,如:useradd had... 阅读全文
posted @ 2015-11-23 21:27 风儿飞 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 在hadoop1中核心组成部分是HDFS、MapReduce,到了Hadoop2,核心变为HDFS、Yarn,而且新的HDFS中可以有多个NameNode,每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下:配置文件无非就... 阅读全文
posted @ 2015-10-31 11:52 风儿飞 阅读(4718) 评论(0) 推荐(0) 编辑
摘要: 一、先看一下spring配置文件中的配置内容:1、首先设置数据源dataSource: classpath:conf/jdbc.properties 1 2 3 ${driverClassName} 4 ... 阅读全文
posted @ 2015-10-28 16:03 风儿飞 阅读(939) 评论(0) 推荐(0) 编辑
摘要: 一、Osworkflow两个重要的概念:steps:步骤actions:动作initial-actions:初始化步骤1、steps步骤:描述一个工作流所处的位置2、actions:指定了可能发生在步骤内的转变,一个step包含多个action,一个action由两部分组成:执行此条件的condit... 阅读全文
posted @ 2015-10-27 20:43 风儿飞 阅读(4539) 评论(0) 推荐(0) 编辑