xiaoyang_ - 博客园

Hadoop学习14--Hadoop之一点点理解yarn

摘要： yarn是一个分布式的资源管理系统。它诞生的原因是原来的MapReduce框架的一些不足： 1、JobTracker单点故障隐患 2、JobTracker承担的任务太多，维护Job状态，Job的task的状态等 3、在taskTracker端，使用map/reduce task表示资源过于简单，没阅读全文

posted @ 2016-05-09 23:34 xiaoyang_ 阅读(1089) 评论(0) 推荐(0)

Hadoop学习13--zookeeper相关

摘要： zookeeper要保证各个server之间同步，实现同步的协议是zab协议。此协议有两种模式：恢复模式（选主）和广播模式（同步）。服务启动或者leader崩溃时，进入恢复模式。选举成功且大多数server完成了和leader的状态同步后（2n+1台中的n+1台），恢复模式就结束了。状态同步保证阅读全文

posted @ 2016-05-06 18:37 xiaoyang_ 阅读(346) 评论(0) 推荐(0)

Hadoop学习12-配置集群环境

摘要：由于之前虚拟机都是用的桥接方式，有时候没有网络可用，想学习的时候，就狠不方便。于是研究了一下，希望搭建一个多台虚机组成一个局域网的集群，即host-only方式 1、安装VM，网络选择“host-only”模式 2、设置本机（win7）的网络设置，配置虚拟网卡，用来跟虚拟机通信即：VMware 阅读全文

posted @ 2016-05-04 18:40 xiaoyang_ 阅读(206) 评论(0) 推荐(0)

Hadoop学习11--Ha集群配置启动

摘要：理论知识： http://www.tuicool.com/articles/jameeqm 这篇文章讲的非常详细了： http://www.tuicool.com/articles/jameeqm 以下是进阶，讲QJM工作原理： http://www.tuicool.com/articles/eIB 阅读全文

posted @ 2016-04-28 18:58 xiaoyang_ 阅读(582) 评论(0) 推荐(0)

Linux-第一天

摘要： 1、etc 配置目录 2、swap 3、挂载点建立一个目录，作为一个设备的访问入口，光盘镜像文件、移动硬盘、U盘以及Windows网络共享和UNIX NFS网络共享等 mnt目录，建立挂载点：mnt /设备文件自定义目录删除挂载点：unmnt /设备文件|自定义目录 4、启动的7个级别 1）阅读全文

posted @ 2016-04-27 11:39 xiaoyang_ 阅读(169) 评论(0) 推荐(0)

Hadoop学习10--常用命令记录帖

摘要： 1、列出所有正在执行的任务 hadoop job -list 2、kill任务 hadoop job -kill 任务名阅读全文

posted @ 2016-04-22 15:36 xiaoyang_ 阅读(121) 评论(0) 推荐(0)

Hadoop学习9--动态增加datanode

摘要： http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454689.html 阅读全文

posted @ 2016-04-22 14:47 xiaoyang_ 阅读(178) 评论(0) 推荐(0)

java-Spring-1

摘要： 1、@Autowired 自动寻找合适的类型注入，byType2、@Qualifier("userDAOImpl") 存在多个相同类型时，指定固定的一个bean,和上面1配合使用3、@Required 检查在配置中是否给该属性赋默认值，如果否，则报错4、@Autowired(required=fal 阅读全文

posted @ 2015-12-30 18:58 xiaoyang_ 阅读(171) 评论(0) 推荐(0)

Hadoop学习6--里程碑式的开始之执行第一个程序wordcount

摘要：一、先在HDFS文件系统创建对应的目录，具体如下：1、待处理文件存放目录/data/wordcount（之所以创建wordcount，是为了对文件分类，对应本次任务名）命令：hadoop fs -mkdir -p /data/wordcount (-p是同时创建子目录)2、存放输出文件目录/outp... 阅读全文

posted @ 2015-11-05 15:51 xiaoyang_ 阅读(306) 评论(0) 推荐(0)

Hadoop学习5--配置本地开发环境（Windows+Eclipse）

摘要：一、导入hadoop插件到eclipse插件名称：hadoop-eclipse-plugin-2.7.0.jar我是从网上下载的，还可以自己编译。放到eclipse安装目录下的plugins文件夹tip：1、竟然没有plugins文件夹，自己在安装目录下新建了个文件夹2、重启eclipse后，一直无... 阅读全文

posted @ 2015-10-29 17:56 xiaoyang_ 阅读(2479) 评论(0) 推荐(1)

ZFYCH_Love

公告