咸鱼翻身记

摘要： 如果要想在客户端和服务器端之间传输文件。客户端程序需要确定自己的收发机制是正常的，也需要知道服务器端的收发机制也是正常的，同样，在服务器方面，也是需要自己的收发机制和客户端的收发机制也是正常的。所以三次握手过程就是为了保证双方都能够清楚双方的收发机制是正常的。首先，客户端向服务器端发出请求，发起... 阅读全文

摘要： Title: 位操作基础篇之位操作全面总结Author: MoreWindowsE-mail:morewindows@126.comKeyWord: C/C++ 位操作 位操作技巧 判断奇偶 交换两数 变换符号 求绝对值 位操作压缩空间 筛素数 位操作趣味应用 位操作笔试面试位操作篇共分为基础篇和提... 阅读全文

摘要： 在我的博客对冒泡排序，直接插入排序，直接选择排序，希尔排序，归并排序，快速排序和堆排序这七种常用的排序方法进行了详细的讲解，并做成了电子书以供大家下载。下载地址为：http://download.csdn.net/detail/morewindows/4443208。 有网友提议到这本《MoreWi... 阅读全文

摘要： 这篇文章做了一个很好的测试：http://blog.csdn.net/afgasdg/article/details/6889383，判断往HashSet（不允许元素重复）里塞对象时，是如何判定set里的对象是否一致的问题。但是他是从写测试例子入手来看的，或许全文看下来还迷迷蒙蒙，印象不够深刻。所以... 阅读全文

摘要： 学习移位运算，首先得知道参与移位运算的类型的位数，那先来复习下Java基础类型的占位数吧。Java基础类型Java基础类型总结一览表类型二进制位数最大值最小值初始化值表示形式带符号char8127（2^7-1）-128（-2^7）0二进制补码是short1632767（2^15 - 1）-32768... 阅读全文

摘要： MapReduce框架内置了一些计数器的支持，当然，我们也可以设置自己的计数器用来满足一些特殊的要求。其实计数器可以用来完成很多事，关键要看你如何用，例如你想知道map输入数据的指定记录特定的信息有多少可以设置计数，还有，在MR执行过程中，一些特定事件的发生次数也可以记录。使用计数器的莫大好处在于整... 阅读全文

摘要： Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。因为集群的带宽有限，而有限的带宽资源却承担着大量的刚性带宽需求，例如Shuffle阶段的数据传输不可避免，所以如何优化带宽资源的占用是一个值得思考的问题。仔细思考下，Hadoop数据传输的需求主要... 阅读全文

摘要： import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;impo... 阅读全文

摘要： 来自http://www.cnblogs.com/oubo/archive/2012/01/06/2394638.html，写的很详细 Java流操作有关的类或接口： Java流类图结构： 流的概念和作用 流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为 阅读全文

摘要： 普通排序实现 普通排序的实现利用了按姓名的排序，调用了默认的对key的HashPartition函数来实现数据的分组。partition操作之后写入磁盘时会对数据进行排序操作（对一个分区内的数据作排序），但这里的排序仅仅是对key的排序，而不是对value。可以进行以下测试： 待排序文件：sou... 阅读全文