Hadoop大数据之路

摘要： YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，AM负责单个应用程序的管理。 一、YAR 阅读全文

摘要： HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点，一类是NameNode，又叫“元数据节点”，另一类是DataNode，又叫“数据节点”，分别执 阅读全文

摘要： MapReduce是一种分布式计算模型，是Hadoop的主要组成之一，承担大批量数据的计算功能。MapReduce分为两个阶段：Map和Reduce。 一、MapReduce的架构演变 客户端向JobTracker提交一个作业，JobTracker会把这个作业拆分成多份，然后分配给TaskTrack 阅读全文

摘要： 大数据时代不可抗拒，应该是毋庸置疑的，但对于绝大多数企业来说，大数据本身仅是一个空泛的概念，不仅难以参与更难于控制。几乎任何规模企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰，这种感觉好像是守着金山却无从下手。大数据技术的意义不在于掌握庞大的数据信息，而在于对这些数据进行智 阅读全文

摘要： 一、简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 二、HDFS Hadoop Distributed File System，简称 阅读全文

摘要： 一、线程池作用 在上一篇随笔中有提到多线程具有同一时刻处理多个任务的特点，即并行工作，因此多线程的用途非常广泛，特别在性能优化上显得尤为重要。然而，多线程处理消耗的时间包括创建线程时间T1、工作时间T2、销毁线程时间T3，创建和销毁线程需要消耗一定的时间和资源，如果能够减少这部分的时间消耗，性能将会 阅读全文

摘要： 一、线程的应用与特点 多线程是程序员不可或缺的技术能力，多线程技术在各个方面都有应用，特别在性能优化上更是起到至关重要的作用。但是，如果多线程写得不好，往往会适得其反，特别是高并发时会造成阻塞、超时等现象。多线程具有以下特点：1、独立性，拥有自己独立的资源，拥有自己私有的地址空间；2、动态性，进程具 阅读全文

摘要： 在排序算法中，简单排序主要有三种，分别为冒泡排序、选择排序、插入排序，学习理解好这三种排序算法有助于进一步研究数据结构与算法分析。下面，简单地谈一谈冒泡排序、选择排序、插入排序的原理及区别。 冒泡排序原理： 1、比较相邻的元素。如果前一个比后一个大，它们就交换。 2、每对元素都要进行同样的动作，从后 阅读全文

摘要： 一、语言特性 计算机高级语言按程序的执行方式可分为：编译型和解释型两种。编译型的语言是指使用专门的编译器，针对特定的平台(操作系统)一次性翻译成被该平台硬件执行的机器码，并包装成该平台可执行性程序文件(.exe，.sh，.bat等)，编译型的语言有C、C++等；解释型的语言是指使用专门的解释器对源程 阅读全文