笨小孩

摘要： 转自：http://www.cnblogs.com/chengmo/archive/2010/10/20/1855805.html多谢分享在了解重定向之前，我们先来看看linux 的文件描述符。linux文件描述符：可以理解为linux跟踪打开文件，而分配的一个数字，这个数字有点类似c语言操作文件时... 阅读全文

摘要： ubuntu永久修改主机名1、查看主机名 在Ubuntu系统中，快速查看主机名有多种方法： 其一，打开一个GNOME终端窗口，在命令提示符中可以看到主机名，主机名通常位于“@”符号后； 其二，在终端窗口中输入命令：hostname或uname –n，均可以查看到当前主机的主机名。2、临时修改主... 阅读全文

摘要： 一、从 user 用户切换到 root 用户 不管是用图形模式登录 Ubuntu，还是命令行模式登录，我们会发现缺省的用户是 user，但是当我们需要执行一些具有 root 权限的操作(如修还系统文件)时，经常需要用 sudo 授权，感觉很麻烦，此时我们可以切换到 root 用户，只需要简单的执行... 阅读全文

摘要： 转自：http://www.cnblogs.com/hseagle/p/3673132.html一、概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕sp... 阅读全文

摘要： 转自：http://www.cnblogs.com/hseagle/p/3673123.html在源码阅读时，需要重点把握以下两大主线。静态view即 RDD, transformation and action动态view即life of a job, 每一个job又分为多个stage，每一个st... 阅读全文

摘要： 转自：http://www.cnblogs.com/hseagle/p/3664933.html一、基本概念(Basic Concepts)RDD - resillient distributed dataset 弹性分布式数据集Operation - 作用于RDD的各种操作分为transforma... 阅读全文

摘要： 1 package com.swust.example 2 3 object TraitDemo2 extends App{ 4 5 //抽象类 6 abstract class Writer { 7 def writeMessage(message: St... 阅读全文

摘要： for循环中的 yield 会把当前的元素记下来，保存在集合中，循环结束后将返回该集合。Scala中for循环是有返回值的。如果被循环的是Map，返回的就是Map，被循环的是List，返回的就是List，以此类推。例1：1 scala> for (i for (i for (i val a... 阅读全文

摘要： 转自：http://www.infoq.com/cn/articles/spark-core-rdd/感谢张逸老师的无私分享 RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时... 阅读全文

摘要： 转自：http://langyu.iteye.com/blog/992916，多谢分享，学习Hadopp性能调优的可以多关注一下Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方，Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.s... 阅读全文