Sun's Blog-专注于阅读

摘要： @ 排序概述 排序是MapReduce框架中最重要的操作之一。 Map Task和ReduceTask均会默认对数据按照key进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。 黑默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。 对于MapT 阅读全文

摘要： @ 问题引出 要求将统计结果按照条件输出到不同文件中（分区）。 比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区） 默认Partitioner分区 public class HashPartitioner<K,V> extends Partitioner<K,V>{ public int 阅读全文

摘要： 封装成帧 封装成帧（framing）就是在一段数据的前后分别添加首部和尾部，然后就构成了一个帧。确定帧的界限。 首部和尾部的一个重要作用就是进行帧定界。 透明传输 若传输的数据是ASCll码中“可打印字符(共95个)“集时，就正常。 若传输的数据不是仅由“可打印字符”组成时，就会出问题。 用字节填充 阅读全文

摘要： 1. 阶段定义 MapTask：map >sort map：Mapper.map()中将输出的key-value写出之前 sort：Mapper.map()中将输出的key-value写出之后 2. MapTask工作机制 Read阶段 MapTask通过用户编写的RecordReader，从输入I 阅读全文

摘要： 在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 阅读全文

摘要： @ 数据发送模型 数据链路层的信道类型 数据链路层使用的信道主要有以下两种类型： 点对点信道：这种信道使用一对一的点对点通信方式。 广播信道：这种信道使用一对多的广播通信方式，因此过程比较复杂。广播信道上连接的主机很多，因此必须使用专用的共享信道协议来协调这些主机的数据发送。 链路与数据链路 链路( 阅读全文

摘要： xDSL（ 用数字技术对现有的模拟电话用户线进行改造，使它能够承载宽带业务。） 标准模拟电话信号的频带被限制在300~3400Hz的范围内，但用户线本身实际可通过的信号频率仍然超过1MHz。 xDSL技术就把0~4kHz低端频谱留给传统电话使用，而**把原来没有被利用的高端频谱留给用户 上网使用。* 阅读全文

摘要： @ 1. 准备阶段 运行Job.waitForCompletion()，先使用JobSubmitter提交Job，在提交之前，会在Job的作业目录中生成以下文件： job.split：当前Job的切片信息，有几个切片对象 job.splitmetainfo：切片对象的属性信息 job.xml：job 阅读全文

摘要： 虽然切片数越多，启动的maptask就越多，并行运行执行效率越高。但凡事都有个度，万一切片过多，也会影响执行效率 @ 执行流程 Job-->MRAppMaster-->RM-->调度队列-->NM-->Container-->MapTask 可以看见，从job提交到执行maptask，中间还会经历很 阅读全文

摘要： @ 片大小的计算 long splitSize = computeSplitSize(blockSize, minSize, maxSize); protected long computeSplitSize(long blockSize, long minSize, long maxSize) { 阅读全文