摘要:        
MapReducer是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)"一、Mapper1、Mapper负责“分”,把复杂的任务分解为若干个简单的任务执行2、简单的任务分成:a,数据或计算规模对于原任务要大大缩小。b,就近计算,即分配到所需数据节点进行计算。c,这些已分配好的任务彼此间没有依赖关系。二、Reducer1、对于map阶段的结果进行...    阅读全文
posted @ 2013-11-28 19:44
Tim&Blog
阅读(463)
评论(0)
推荐(0)
        
            
        
        
摘要:        
Hadoop Distributed File System 简称HDFS一、HDFS设计目标1、支持海量的数据,硬件错误是常态,因此需要 ,就是备份2、一次写多次读3、运行在普通的硬件上面4、数据块尽量散步到各个节点中二、HDFS不适合的场景1、不适合低延迟的数据,对一个大文件整个文件进行读取,即批量读取而非随机读取2、小文件3、无法对文件的内容任意修改三、HDFS架构1、一个文件被划分成大小固...    阅读全文
posted @ 2013-11-28 19:40
Tim&Blog
阅读(343)
评论(0)
推荐(0)
        
            
        
        
摘要:        
一、什么是hadoop1. 背景Hadoop为分布式文件系统和计算的基础框架系统,其中包含hadoop程序,hdfs系统等。2. 名词解释1.Hadoop, Apache开源的分布式框架。2.HDFS, hadoop的分布式文件系统3.NameNode, hadoop HDFS元数据主节点服务器,负责保存DataNode 文件存储元数据信息。4.JobTracker, hadoop的Map/Red...    阅读全文
posted @ 2013-11-28 19:39
Tim&Blog
阅读(360)
评论(0)
推荐(0)
        
            
        
        
摘要:        
大家可以参考一下源代码的相关部分注释,然后写出自己的16进制处理程序。有几个重点地方: 16进制字符串-》10进制数 int input = Integer.parseInt("Str", 16) 10进制整数-》16进制字符串 String hex = Integer.toHexString(int) 文件读取方法 作为2进制文件直接读取,一个byte为单位的读取。将来我还将在...    阅读全文
posted @ 2013-11-28 19:36
Tim&Blog
阅读(7686)
评论(0)
推荐(0)
        
            
        
        
摘要:        
显示的内容显示的内容显示的内容....显示的内容functionsend(){vartests=document.getElementsByName('test');//这里我们定义数组存放checkbox的值,为什么以数组定义呢?这样我们在后台获取数据时才可以////用","进行分割varvalue=newArray(); for(vari=0;i<tests.length;i++){if(te...    阅读全文
posted @ 2013-11-28 19:35
Tim&Blog
阅读(1026)
评论(0)
推荐(0)
        
                    
                
浙公网安备 33010602011771号