随笔分类 -  hadoop

zookeeper使用场景
摘要：ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的 阅读全文

posted @ 2017-10-09 17:32 蝌蚪的精神 阅读(124) 评论(0) 推荐(0)

zookeeper安装配置
摘要：zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下： 1.上传zk安装包 2.解压 3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo 阅读全文

posted @ 2017-10-09 17:31 蝌蚪的精神 阅读(132) 评论(0) 推荐(0)

hadoop 远程调试
摘要：JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（J 阅读全文

posted @ 2017-10-09 17:28 蝌蚪的精神 阅读(207) 评论(0) 推荐(0)

hadoop-2.4.1安装过程
摘要：hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好... 阅读全文

posted @ 2017-10-09 17:25 蝌蚪的精神 阅读(184) 评论(0) 推荐(0)

hadoop环境搭建
摘要：安装虚拟机vmware.这里就不写了 设置ip地址 拷贝虚拟机的话记得也修改此项 记得吧uuid移出 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ### HWADDR="00:0C:29 阅读全文

posted @ 2017-10-09 17:24 蝌蚪的精神 阅读(98) 评论(0) 推荐(0)

导航