随笔分类 - Hadoop
摘要:二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBase中实现二级索引与索引Join需要考虑三个目标:1,高性能的范围检索。2,数据的低冗余(存储所占的数据量)。3,数据的一致性。性能与数据冗余,一致性是相互制约的关系。如果你实现了高性能地范围检索,必然需要靠冗余索
阅读全文
摘要:一:环境windows XP sp3Hadoop1.0(Hadoop安装篇)Hbase0.92.1JDK1.6以上Cygwin二:Hbase配置.配置hadoop/conf目录下 2个文件 hbase-env.sh, hbase-site.xml①.hbase-env.sh a.配置jdk安装目录(记得去掉前面的注释)export JAVA_HOME=/cygdrive/d/Java/jdk1.6.0_10b.hbase解压后的根目录export HBASE_CLASSPATH=/cygdrive/d/hadoop/hbase-0.92.1②.hbase-site.xml:<config
阅读全文
摘要:1.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenodenamespaceID = 240012870; datanode namespaceID = 1462711424 .http://blog.csdn.net/wh62592855/article/details/57521992.org.apache.hadoop.security
阅读全文
摘要:1.环境 Jdk:1.6.0_10-rc2 Hadoop:hadoop-1.0.0.tar.gz Eclipse 版本:3.4.0 Hadoop Eclipse 插件 :hadoop-eclipse-plugin-1.0.0.jar 下载地址 操作系统:Windows7 32位 旗舰版2.Eclipse插件配置2.1 把"hadoop-eclipse-plugin-1.0.0.jar"放到Eclipse的目录的"plugins"中(eclipse/plugins),重新启动Eclipse生效 2.2选择Elipse Window菜单下的"Pre
阅读全文
摘要:原文地址:http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘
阅读全文
摘要:一:CygWin安装 cygwin1.7.15 下载地址 安装省略、(记得安装ssh) 安装完成后 将usr\sbin目录 加入到path环境变量中二:ssh配置 $ ssh-host-config *** Query: Should privilege separation be used? (yes/no) no *** Query: (Say "no" if it is already installed as a service) (yes/no)yes *** Query: Enter the value of CYGWIN for the daemon: []
阅读全文

浙公网安备 33010602011771号