摘要：
package com.billstudy.hdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.h... 阅读全文
posted @ 2015-04-19 15:51 LuckyBill 阅读(100) 评论(0) 推荐(0)
2015年4月19日
摘要：
近期，一个小伙伴遇到了此需求。要解决的问题就是：记录用户在系统的操作，通过注解来灵活控制。 注解可以对方法进行修饰，描述。 后面会将注解上描述以及方法被调用时入参记录到数据库。 同时还需要对不同的操作进行分类（插入，修改，查看，下载/上传文件之类的），记录用户，时间以及IP，客户端User-agen... 阅读全文
posted @ 2015-04-19 14:48 LuckyBill 阅读(201) 评论(0) 推荐(0)
摘要：
近期，一个小伙伴遇到了此需求。要解决的问题就是：记录用户在系统的操作，通过注解来灵活控制。 注解可以对方法进行修饰，描述。 后面会将注解上描述以及方法被调用时入参记录到数据库。 同时还需要对不同的操作进行分类（插入，修改，查看，下载/上传文件之类的），记录用户，时间以及IP，客户端User-agen... 阅读全文
posted @ 2015-04-19 14:48 LuckyBill 阅读(184) 评论(0) 推荐(0)
摘要：
在window eclipse上测试hadoop 程序时，出现不能执行chmod问题。需要安装cygwin程序：点击下载x64 cygwin具体安装步骤，网上很多文章有介绍了。错误如下：15/04/19 14:41:29 INFO jvm.JvmMetrics: Initializing JVM M... 阅读全文
posted @ 2015-04-19 14:40 LuckyBill 阅读(284) 评论(0) 推荐(0)
摘要：
在window eclipse上测试hadoop 程序时，出现不能执行chmod问题。需要安装cygwin程序：点击下载x64 cygwin具体安装步骤，网上很多文章有介绍了。错误如下：15/04/19 14:41:29 INFO jvm.JvmMetrics: Initializing JVM M... 阅读全文
posted @ 2015-04-19 14:40 LuckyBill 阅读(389) 评论(0) 推荐(0)
2015年3月22日
摘要：
package com.billstudy.hdfs.test;import java.io.ByteArrayInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;... 阅读全文
posted @ 2015-03-22 10:45 LuckyBill 阅读(118) 评论(0) 推荐(0)
摘要：
硬件错误是常态，因此需要冗余.流式数据访问，即数据批量读写而非随机读写,Hadoop擅长做的数据分析而不是事务处理大规模数据集简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，也就是说：文件一经过写入，关闭就再也不能修改！程序采用“数据就近”原则分配节点执行.NameNode:... 阅读全文
posted @ 2015-03-22 10:43 LuckyBill 阅读(137) 评论(0) 推荐(0)
摘要：
硬件错误是常态，因此需要冗余.流式数据访问，即数据批量读写而非随机读写,Hadoop擅长做的数据分析而不是事务处理大规模数据集简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，也就是说：文件一经过写入，关闭就再也不能修改！程序采用“数据就近”原则分配节点执行.NameNode:... 阅读全文
posted @ 2015-03-22 10:43 LuckyBill 阅读(117) 评论(0) 推荐(0)
摘要：
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题... 阅读全文
posted @ 2015-03-22 07:22 LuckyBill 阅读(161) 评论(0) 推荐(0)
2015年3月21日
摘要：
情况：master(h21)JobTracker,SecondaryNameNode,NameNode都启动了。slave(h22,h23)的TaskTracker，DataNode也都启动了。但是在master(h21)机器上看，却没有可用的DateNode节点。hdfs(put 命令)上传文件的... 阅读全文
posted @ 2015-03-21 10:56 LuckyBill 阅读(135) 评论(0) 推荐(0)
浙公网安备 33010602011771号