12 2014 档案

Hadoop中Writable类之四
摘要：1.定制Writable类型Hadoop中有一套Writable实现，例如：IntWritable、Text等，但是，有时候可能并不能满足自己的需求，这个时候，就需要自己定制Writable类型。定制分以下几步：需要实现WritableComparable接口，因为Writable常常作为健值对出现... 阅读全文
posted @ 2014-12-16 18:49 就像你一样回不来 阅读(2563) 评论(0) 推荐(0)
Hadoop中Comparator原理
摘要：在前面的博文《Hadoop中WritableComparable 和 comparator》中，对于WritableComparator说的不够细致，下面说说具体的实现原理！1.WritableComparator主要提供了两个功能：提供了对原始compara()方法的一个默认实现，默认实现是先反序... 阅读全文
posted @ 2014-12-16 13:19 就像你一样回不来 阅读(3495) 评论(0) 推荐(0)
Hadoop中Writable类之三
摘要：1.BytesWritable定义ByteWritable是对二进制数据组的封装。它的序列化格式为一个用于指定后面数据字节数的整数域（4个字节），后跟字节本身。举个例子，假如有一个数组bytes，里面有两个byte，bytes[0]=3，bytes[1]=5,那么，数组序列化后，其返回一个字节数组，... 阅读全文
posted @ 2014-12-15 15:28 就像你一样回不来 阅读(5471) 评论(0) 推荐(0)
Hadoop中Writable类之二
摘要：1.ASCII、Unicode、UFT-8在看Text类型的时候，里面出现了上面三种编码，先看看这三种编码：ASCII是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。ASCII是7位字符集，是美国标准信息... 阅读全文
posted @ 2014-12-14 19:16 就像你一样回不来 阅读(1050) 评论(0) 推荐(0)
Hadoop中Writable类
摘要：1.Writable简单介绍在前面的博客中，经常出现IntWritable，ByteWritable.....光从字面上，就可以看出，给人的感觉是基本数据类型 和 序列化！在Hadoop中自带的org.apache.hadoop.io包中有广泛的Writable类可供选择。它们的层次结构如下图所示：... 阅读全文
posted @ 2014-12-12 19:44 就像你一样回不来 阅读(1316) 评论(0) 推荐(0)
Hadoop中WritableComparable 和 comparator
摘要：1.WritableComparable查看HadoopAPI,如图所示：WritableComparable继承自Writable和java.lang.Comparable接口，是一个Writable也是一个Comparable，也就是说，既可以序列化，也可以比较！再看看它的实现类，发现Boole... 阅读全文
posted @ 2014-12-12 15:31 就像你一样回不来 阅读(7538) 评论(0) 推荐(1)
Hadoop序列化
摘要：1.序列化 所谓的序列化，就是将结构化对象转化为字节流，以便在网络上传输或是写道磁盘进行永久存储。反序列化，就是将字节流转化为结构化对象。在Java中也存在序列化，刚学Java的时候，接触的第一个项目就是QQ聊天系统，也就是网络编程，其中，用到的就是字符流传输数据，通过对象序列化，然后转化为字符流或... 阅读全文
posted @ 2014-12-11 16:26 就像你一样回不来 阅读(2879) 评论(0) 推荐(0)
Hadoop压缩之MapReduce中使用压缩
摘要：1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma... 阅读全文
posted @ 2014-12-11 14:27 就像你一样回不来 阅读(717) 评论(0) 推荐(0)
Hadoop压缩之CompressionCodecFactory
摘要：1.CompressionCodecFactory简介 当在读取一个压缩文件的时候，可能并不知道压缩文件用的是哪种压缩算法，那么无法完成解压任务。在Hadoop中，CompressionCodecFactory通过使用其getCodec()方法，可以通过文件扩展名映射到一个与其对应的Compress... 阅读全文
posted @ 2014-12-10 19:00 就像你一样回不来 阅读(1563) 评论(0) 推荐(0)
Hadoop压缩
摘要：1.文件压缩简单说明 文件压缩有两大好处：可以减少文件存储所需要的磁盘空间，其次是可以加快数据在网络和磁盘上的传输。windows上的压缩算法有好多中，rar，zip等等，同理，在Hadoop中，压缩算法也有多种，下面是Hadoop中常见的压缩算法。压缩格式总结压缩格式工具算法文件扩展名是否包含... 阅读全文
posted @ 2014-12-10 16:12 就像你一样回不来 阅读(1569) 评论(0) 推荐(0)
Hadoop有点难
摘要：从看《Hadoop权威指南》第一眼开始，我一直觉得Hadoop很难，很难.....看着这本书，我觉得好像是文言文，我是真的看不懂，我的一腔热血瞬间冷了下来！很幸运，但是也不幸运，我来到了一个小公司！幸运的是，我接触到了云，不幸运的是这并不是我想要的云。我曾经告诉过自己：我今后做事要当机立断，对于一些... 阅读全文
posted @ 2014-12-10 11:34 就像你一样回不来 阅读(381) 评论(0) 推荐(0)
vCenter Server Heartbeat
摘要：1.简介vCenter Server Heartbeat为VMware vCenter Server提供关键任务高可用性，保护虚拟基础架构免受硬件、网络、配置等的影响，基于Windows的服务，可为vCenter Server配置提供高可用性的保护，且无需专用硬件。vCenter Server He... 阅读全文
posted @ 2014-12-09 17:11 就像你一样回不来 阅读(518) 评论(0) 推荐(0)
VMware vSphere之vCenter
摘要：1.vCenter是什么？vCenter Server 是 vSphere管理员使用的主要管理工具，首先，通过它可实现对数据中心所有主机的单点控制，也就是提供集中式管理。其次，提供基本的基础结构操作，如清单、拓扑结构和主机配置管理，调配，性能监控，创建用户和权限，还有就是统一物理资源以便在虚拟机之间... 阅读全文
posted @ 2014-12-09 14:12 就像你一样回不来 阅读(2399) 评论(0) 推荐(0)
vSphere5.5体系结构
摘要：1.vSphere5.5体系结构 vSphere5.5作为云集算操作系统，可以虚拟化服务器、存储、网络在内的整个IT基础架构，将这些架构转化为易于管理的虚拟化！vSphere5.5从逻辑上，可以划分为虚拟化层、管理层、界面层。虚拟化层包含了基础架构服务和应用服务，基础架构服务主要用于对基础话硬件进... 阅读全文
posted @ 2014-12-08 18:22 就像你一样回不来 阅读(994) 评论(0) 推荐(0)
Hadoop Shell
摘要：1.常用的一些Shell再好的博客，都不如官方文档好用：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 阅读全文
posted @ 2014-12-02 18:44 就像你一样回不来 阅读(143) 评论(0) 推荐(0)
could only be replicated to 0 nodes,instead of 1
摘要：错误：Error Recovery for block null bad datenode[0] nodes==null ...... copyFromLocal：java.io.IOException：File...could only be replicated to 0 nodes,inste... 阅读全文
posted @ 2014-12-02 14:01 就像你一样回不来 阅读(214) 评论(0) 推荐(0)
'for each' statements are only available if source level is 5.0
摘要：在用foreach的时候，出现以下错误：错误：Syntax error, 'for each' statements are only available if source level is 5.0解决方法：1.查看安装JDK的版本，发现是1.8版本，jdk安装没有问题2.查看一下eclipse，... 阅读全文
posted @ 2014-12-01 17:56 就像你一样回不来 阅读(605) 评论(0) 推荐(0)
centOS下NFS服务器的安装配置详解
摘要：一、NFS简介 NFS就是Network FileSystem的缩写，最早之前是由Sun公司所发展出来的。他最大的功能就是可以透过网络，让不同的机器、不同的操作系统可以彼此分享个别档案（share file）。这个NFS Server可以让你的PC来讲网络远程的NFS主机分享的目录，挂载到本地端的机... 阅读全文
posted @ 2014-12-01 10:10 就像你一样回不来 阅读(1511) 评论(0) 推荐(0)