随笔分类 -  hadoop笔记

站在巨人的肩膀上
纠删码相关的实验1
摘要：在linux下编译成为了我想要执行程序时。一般文件会变成绿色，这个时候就可以在终端直接执行命令了。不过这里的命令不是直接调用执行文件的名称。而是使用如下命令：#./hello-world所有的可执行文件均是1中的格式。这几天麻烦的纠删码问题解决。不过还有个问题是他无法对压缩文件进行正确的处理。 阅读全文

posted @ 2013-08-02 11:26 lyeoswu 阅读(163) 评论(0) 推荐(0)

Hadoop数据容错机制探索资料
摘要：HDFS的基本概念，文件的读取和写入，打开；客户端。HDFS读写相关的类-DataXceiverServer功能描述：DataXceiverServer类是DataNode的辅助类，它最主要是用来实现客 户端或其他数据节点与当前节点通信，并负责接收/发送数据块。这个类的创建是为了监听来自客户端或其他数据节点的请求。 它的实现通信的方法不是用hadoop IPC，而是用jdk本身就有的ServerSocket。HDFS dfsclient读文件过程 源码分析hadoop笔记开发一个PutMerge程序，用于合并本地文件后放入HDFS，因为大文件HDFS处理起来比较容易，所以这个程序经常会在以后的 阅读全文

posted @ 2013-07-11 21:41 lyeoswu 阅读(284) 评论(0) 推荐(0)

hadoop-wordcount
摘要：package org.apache.hadoop.examples;//压缩包为examples，在hadoop整个项目中添加到一个包import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hado 阅读全文

posted @ 2013-07-11 17:29 lyeoswu 阅读(245) 评论(0) 推荐(0)

导航