岚之山

摘要： doop YARN学习之监控集群监控Nagios（4）1. Nagios是一个流行的开源监控工具，可以用来监控Hadoop集群。2. 监控基本的Hadoop服务调试好脚本后命名为chek_resource_manager.sh，并把它放在Nagios的插件目录中。加载Nagios插... 阅读全文

摘要： Hadoop YARN学习之组件功能简述（3）1. YARN的三大组件功能简述：ResourceManager（RM）是集群的资源的仲裁者， 它有两部分：一个可插拔的调度器和一个ApplicationManager，用于管理集群中的用户作业。NodeManager，位于每个节点上，... 阅读全文

摘要： Hadoop YARN学习之核心概念（2）1. Hadoop 2.X YARN引入的新服务1.1 新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者； 1.2 用户应用程序（包括MapReduce作业），通过一个新的ApplicationMaster组件请... 阅读全文

摘要： Hadoop YARN学习之Hadoop框架演进历史简述（1）1. Hadoop在其发展的过程中经历了多个阶段：阶段0：Ad Hoc集群时代 标志着Hadoop的起源，集群以Ad Hoc、单用户方式建立阶段1：Hadoop on Demand（HOD） 是进化过程中的下一个阶段，以... 阅读全文

摘要： sh/bash/csh/Tcsh/ksh/pdksh等shell本质区别1. Shell脚本的书写在写Shell脚本时，往往第一行要注明用什么解释器来解释这个脚本。如#!/bin/bash即用/bin/bash这个解释器来解释接下来的语句。还有如#!/bin/cshShell脚本的... 阅读全文

摘要： Spark学习之基于MLlib的机器学习1. 机器学习算法尝试根据训练数据（training data）使得表示算法行为的数学目标最大化，并以此来进行预测或作出决定。2. MLlib完成文本分类任务步骤：(1)首先用字符串RDD来表示你的消息(2)运行MLlib中的一个特征提取（f... 阅读全文

摘要： Spark学习之Spark Streaming（9）1. Spark Streaming允许用户使用一套和批处理非常接近的API来编写流式计算应用，这就可以大量重用批处理应用的技术甚至代码。2. Spark Streaming使用离散化（discretized steam）作为抽象... 阅读全文

摘要： Spark学习之Spark SQL（8）1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、2. Spark SQL的三大功能2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。2.2 Spark SQL不仅支... 阅读全文

摘要： Spark学习之Spark调优与调试（7）1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项。当创建一个SparkContext时就会创建一个SparkConf实例。2. Spark特定的优先级顺序来选择实际配置：优先级最高的是在用户代码中显示调用set()... 阅读全文

摘要： Spark学习之在集群上运行Spark（6）1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行，来扩展程序的计算能力。2. Spark既能适用于专用集群，也可以适用于共享的云计算环境。3. Spark在分布式环境中的架构：Created with Raphaël ... 阅读全文