九天高远

摘要： 一、包管理工具及CentOS的yum 1、包管理工具如何发现可以用的包 包管理工具依赖一系列软件源，工具下载源的信息存储在配置文件中，其位置随某包管理工具不同而变化 使用yum的RedHat/CentOS存储在：/etc/yum.repos.d 使用apt-get的Debian/Ubuntu在：/e 阅读全文

摘要： 如果有必要，可以使用下面的命令卸载Couldera Manager Server 和Agents 安装失败，例如虚拟机超时中断，若要继续安装，步骤如下： 1、删除文件和目录 2、重新执行安装命令： 一、卸载Cloudera Manager Server 和Agents 注意：卸载Cloudera M 阅读全文

摘要： RHadoop是由Revolution Analytics发起的一个开源项目，它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages，分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。 一、系统 阅读全文

摘要： Cloudera Manager需求： 磁盘空间，最小满足： 系统/var分区下有5GB 系统/usr分区有500MB 系统/opt下面最好多配置点 多数情况下RAM 4GB是比较合适的，如果装了Oracle数据库，就是必须的了。没有Oracle数据库且节点在100个以下的，也是足够的。 通常说来， 阅读全文

摘要： 目录 1 引言 1.1 目的 1.2 读者范围 2 综述 3 代码详细分析 3.1 启动Hadoop集群 3.2 JobTracker启动以及Job的初始化 3.3 TaskTracker启动以及发送Heartbeat 3.4 JobTracker接收Heartbeat并向TaskTracker分配 阅读全文

摘要： 1：最简单的过程： Map - Reduce 2：定制了partitioner以将map的结果写到相应的分区，以供对应的reducer下载： Map - Partition - Reduce 3：增加了在本地先进性一次reduce（本地优化），减少后期网络的传输量 Map - Combine(本地r 阅读全文

摘要： Job job = new Job(conf, "MaxTemperature"); job.setJarByClass(MaxTemperature.class); job.setMapperClass(MaxTemperatureMapper.class); Combiner类： 通常，每个Ma 阅读全文

摘要： 最近重新研究MapReduce，中间出现了不少问题，看样子长时间不弄还是很容易忘记的，特此记录。 问题一：Unsupported major.minor version 51.0解决办法 我使用的是Eclipse-jee + JDK 1.6.0_24环境，结果运行MapReduce程序的时候使用时出 阅读全文

摘要： 这两个均是 python 的内建函数，通过读取控制台的输入与用户实现交互。但他们的功能不尽相同。例子如下： 示例2： 示例2： 示例1 可以看到：这两个函数均能接收 字符串 ，但 raw_input() 直接读取控制台的输入（任何类型的输入它都可以接收）。而对于 input() ，它希望能够读取一个 阅读全文

摘要： 1、继续（\） Python语句，一般使用换行分割，也就是说一行一个语句。一行过长的语句可以使用反斜杠（\）分解成几行，如下例： 有另外两种例外情况一个语句不是用反斜杠也可以跨行。在使用闭合操作符时，单一语句可以跨多行，例如：在含有小括号、中括号、花括号时可以多行书写。另外就是三引号包括下的字符串也 阅读全文