文章分类 -  Hadoop

摘要：hbase本身提供了很多filter来实现服务器端过滤的功能，诸如Filter, FilterBase, CompareFilter;一些Comparators类;Comparison Filters;Dedicated Filters;Decorating Filters;FilterList;Custom Filters。但是这些filter往往不能满足我们的实际需要，因此我们可以针对自己需要来自写filter，然后加到hbase集群中。主要步骤：1.新建类，继承自FilterBase或WritableByteArrayComparable，需求不同，需要创建的类不同，不详述2.将相关类打 阅读全文

摘要：运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧（至少我运行的时候是这样的）那我们来分析下这个错误，从字面上来理解：Name node is in safe mode说明Hadoop的NameNode处在安全模式下。那什么是Hadoop的安全模式呢？在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直 阅读全文

摘要：SSH是一个专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题，那么在CentOS 6.4中想要配置一个无密码的SSH的话，要如何的进行操作呢！有哪些的步骤？我们一起去看看吧！$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys命令没办法做到无密码SSH登陆。需要做三件事情。1、关闭SElinux# vi /etc/selinux/config设置SELINUX=disabled2、 阅读全文

摘要：1.获取hadoop 1.2.1源码:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz,解压缩至目录。2.在 Eclipse 中选择 File—>Import—>Existing Projects into Workspace 导入已有项目，路径为: D:\hq\sdk\hadoop-1.2.1\src\contrib\eclipse-plugin，其默认的项目名称是 MapReduceTools。3.导入项目后，发现项目出现错误。提示hadoop-core.jar没有，在项 阅读全文