摘要：1准备工作因为我只有一台机器，所以，一切都成为了伪分布，但是，其实和集群是一样的啦。在hbase配置之前，先确定自己的linux上有两个前提——hadoop运行环境和zookeeper运行环境我的环境如下：hadoop-1.0.2zookeeper-3.3.6这些配置这里不进行叙述，确保两者都正常运行；这些东西对hbase配置有用的东西如下：hadoop里core-site.xml<name>fs.default.name</name><value>hdfs://localhost:8000</value>zookeeper里localhost: 阅读全文

摘要：参考 include/zookeeper.hWatches1）Zookeeper 所有的读操作——getData(), getChildren(), 和 exists() 都 可以设置监视(watch)，监视事件可以理解为一次性的触发器2）客户端只有首先看到了监视事件后，才会感知到它所设置监视的 znode 发生了变化3）数据监视和子节点监视(data watches and child watches) getData() and exists() 设置数据监视，getChildren() 设置子节点监视因此， setData() 会触发设置在某一节点上所设置的数据监视(假定数据设置成功)， 阅读全文

摘要：利用zookeeper c api进行zk实例的初始化和权限添加时，喷到了一个情况：如代码所示zk = zookeeper_init(url.c_str(), watcher, 30000, 0, 0, 0); if(zk != NULL) { AC_INFO("zk connect sucess, hostip=%s", url.c_str()); } else { AC_ERROR("zk connect error, hostip=%s", url.c_str()); return false; } <<<<<< 阅读全文

摘要：在头文件zookeeper.jute.h中，找到Stat这个结构，首先需要明白这个变量的特点：1 存在大部分的zookeeper c api的参数中2 作为znode的节点信息变量传递出去，供外部查询和使用结构声明如下：struct Stat { int64_t czxid; int64_t mzxid; int64_t ctime; int64_t mtime; int32_t version; int32_t cversion; int32_t aversion; int64_t ephemeralOwner; int32_t dataLength; int32_t numChildren 阅读全文

摘要：1下载 zookeeper-3.3.6.zip编译 /zookeeper-3.3.6/src/c./configure --prefix=/hfx/zookeeper makemake install--prefix 类似这种参数有多中，./configure --help编译好后可以看到如下路径：[hfx@74 ~]$ cd zookeeper/[hfx@74 zookeeper]$ lltotal 24drwxrwxr-x 2 hfx hfx 4096 Mar 11 16:43 bindrwxrwxr-x 3 hfx hfx 4096 Mar 11 16:43 includedrwxrwx 阅读全文

摘要：一 回调基础知识znode可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的功能包括配置的集中管理，集群管理，分布式锁等等。//创建一个Zookeeper实例，第一个参数为目标服务器地址和端口，第二个参数为Session超时时间，第三个为节点变化时的回调方法ZooKeeperzk=newZooKeeper("127.0.0.1:2181",500000,newWatcher(){//监控所有被触发的事件publicvoidprocess(Watched 阅读全文

摘要：安装zookeeper也很简单，下载zookeeper-3.1.1.tar.gz，解压到/home/hezhiming/zookeeper-3.1.1。zookeeper要部署到各台机器的相同目录下，且具有相同的配置文件。配置：clientPort监听客户端连接的端口；dataDir存储内存中数据库快照的位置；注意应该谨慎地选择日志存放的位置，使用专用的日志存储设备能够大大地提高系统的性能，如果将日志存储在比较繁忙的存储设备上，那么将会在很大程度上影响系统的性能。tickTime基本事件单元，以毫秒为单位。它用来控制心跳和超时，默认情况下最小的会话超时时间为两倍的tickTime。server 阅读全文

摘要：#创建表人信息表person(String name,int age)hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE;OKTime taken: 0.541 seconds#创建表票价信息表ticket(int age,float price)hive> create table ticket(age INT,price FLOAT)ROW FO 阅读全文

摘要：方法一：环境：win7+sqlserver2008工具：bcp测试效率：新闻数据库，10000000行，25.8G导出时间：约2个小时每秒约1326行方法二：用循环执行sql语句，分段写入文件。1Bcp介绍bcp实用工具可以在MicrosoftSQLServer实例和用户指定格式的数据文件间大容量复制数据。使用bcp实用工具可以将大量新行导入SQLServer表，或将表数据导出到数据文件。除非与queryout选项一起使用，否则使用该实用工具不需要了解Transact-SQL知识。若要将数据导入表中，必须使用为该表创建的格式文件，或者必须了解表的结构以及对于该表中的列有效的数据类型。(1)导入 阅读全文

摘要：Hive技术文档——AuthorHuangFx 2013/01/29Hive是什么？Hive是蜂房的意思，为什么hadoop上的这层数据仓库叫Hive？因为生物学上蜂房是一个结构相当精良的建筑，取名Hive足见则个数据仓库在数据存储上也是堪称精良的。Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，它提供了类似于SQL语法的HQL语句作为数据访问接口，这使得普通分析人员的应用Hadoop的学习曲线变缓。第一：Hive是建立在Hadoop上的数据仓库基础构架。第二：很低的学习代价便可以让用户在Hadoop中进行存储、查询和分析存储的大规模数据。简单的理解：如果用户只是需要 阅读全文

摘要：步骤修改mapred-site.xml文件，添加如下配置：<property><name>mapred.child.java.opts</name><value>-agentlib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y</value></property>关闭所有的tasktracker，只保留上面配置的一台需要调试的tasktracker启动Mapreducejob右键hadoopsrc项目，右键“DebugAs”，选择“DebugConfigu 阅读全文

摘要：ubanto-hadoop环境搭建安装vm下载：去官网下VMware-player-5.0.1-894247.zip安装和配置ubanto下载：去官网下ubuntu-12.10-desktop-i386.iso打开vm，载入ubantoiso文件，进行安装更新进入ubanto，如果是第一个进入，则需要设置root的密码>sudopasswdroot创建用户#sudouseraddusername#sudopasswdusername配置简单的VIMsyntaxonsetrulersetautoindentsetcindentsethlsearch安装和配置JDK首先将*.tar.gz解压 阅读全文