LeonNew

摘要： Storm特性 1. 低延迟和高性能 在一个小集群中，每个节点每秒可以处理数以百万计的消息。 2. 可扩展 在Storm集群中主要有三个实体：工作进程、线程和任务。Storm集群中每台机器上都可以运行多个工作进程，每个工作进程又可以创建多个线程，每个线程可以执行多个任务，任务是真正进行数据处理的实体 阅读全文

摘要： spark环境配置 本地执行spark程序： 1、安装jdk和scala，配置环境变量 （由于环境不一样，我的操作系统是win8.1，scala必须是Scala 2.10.x版本，否则会报出Exception in thread "main" java.lang.NoSuchMethodError: 阅读全文

摘要： mapper和reducer的划分 mapper的数量等于输入文件被划分成的分块数，这取决于输入文件的大小以及文件块的大小。一个map操作只处理一个输入分片。运行作业的客户端通过调用getSplits()计算分片，然后将它们发送到jobtracker，jobtracker使用其存储位置信息来调度ma 阅读全文

摘要： 在Hadoop 1.0版本中，mapred.job.tracker决定了执行MapReduce程序的方式，若设置为local，则使用本地的作业运行器，若设置为主机：端口（eb179:9001），则该配置属性被解释为一个jobtracker地址； 在Hadoop 2.0版本中，用于执行的框架通过map 阅读全文

摘要： HDFS的数据完整性 检验数据是否损坏最常见的措施是：在数据第一次引入系统时计算校验和并在数据通过一个不可靠通道进行传输时再次计算校验和，这样就能发现数据是否被损坏。HDFS会对写入的所有数据计算校验和，并在读取数据时验证校验和。 1. 客户端写数据：正在写数据的客户端将数据及其校验和发送到由一系列 阅读全文

摘要： 1、Hadoop解决了哪些问题？ 由于硬盘存储能力的提升速度远大于数据读取的提升速度，1T硬盘对应的读取速度为100M/s，因此需要花费两个多小时的时间来读取所有数据，而如果我们拥有100个硬盘并行读取，则只需要花费大约两分钟，所以我们更加愿意去共享硬盘来获取更快的读取速度，而这样就会出现两个问题： 阅读全文

摘要： 参考自《Hadoop权威指南》 ![http://www.cnblogs.com/swanspouse/p/5137308.html] HDFS读文件过程： 1. 客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。 2. 阅读全文

摘要： MapReduce简介 参考自![http://www.cnblogs.com/swanspouse/p/5130136.html] MapReduce定义： MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的 阅读全文

摘要： 抽象类 任何含有一个或多个抽象方法的类都必须声明成抽象类，用关键字abstract. 抽象类没有对象，即一个抽象类不能用new来直接实例化. 不能定义抽象构造方法或抽象静态方法.（但是可以创建父类引用指向派生类对象实现多态） 所有抽象类的子类都必须执行父类中的所有抽象方法或者自己也声明成abstra 阅读全文

摘要： java读取文件内容，可以作如下理解： 1. 首先获得一个文件句柄，File file = new File()；file即为文件句柄。两人之间联通电话网络了，就可以开始打电话了。 2. 通过这条线路读取甲方的信息：new FileInputStream(file)将信息读进内存中，接下来需要解读成 阅读全文