文章分类 -  linux

shell编程(一)
摘要：1. alias 别名 alias ls='ls --color=auto' 设置别名 ls2. vi ~/.bashrc 写入环境变量配置文件3. unalias 删除别名4. 常用快捷键 ctrl + c 强制终止当前命令 ctrl + l 清屏 ctrl + a ... 阅读全文
posted @ 2015-08-18 22:36 hewep 阅读(108) 评论(0) 推荐(0)
hadoop 之 MapReduce
摘要：原理: 一个大任务分成多个小的子任务(map), 并执行后, 合并结果(reduce)基本概念: Job & Task ----- 一个job 分为多个task (分为MapTask 和 ReduceTask) JobTracker ----- 作业调度 | 分配任务, 监控任务执行进度 |... 阅读全文
posted @ 2015-06-21 12:55 hewep 阅读(85) 评论(0) 推荐(0)
hadoop 之 hdfs
摘要：基本概念块的概念 HDFS 的文件被分成块进行存储 块的默认大小为64MB 块是文件存储的逻辑单元HDFS 有两类节点NameNode 和DataNode a) NameNode 是管理节点, 存放文件元数据 . 1. 文件与数据块的映射表; 2. 数据块和数据节点的映射表 b) DataNode ... 阅读全文
posted @ 2015-06-18 23:25 hewep 阅读(109) 评论(0) 推荐(0)
window 安装 hadoop-1.2.1
摘要：1. 设置jdk 路径时， 由于linux 不识别中间带空格的路径， 解决办法 a) ln -s "C:/Program Files (x86)/Java/jdk1.7.0" /usr/local/jdk1.7.0 b) 将hadoop-env.sh中的 JAVA_HOME 设置为 /usr/loc... 阅读全文
posted @ 2015-06-16 13:35 hewep 阅读(84) 评论(0) 推荐(0)
Linux 基本命令
摘要：1. cp命令：功能: 复制文件或目录说明: cp指令用于复制文件或目录，如同时指定两个以上的文件或目录，且最后的目的地是一个已经存在的目录，则它会把前面指定的所有文件或目录复制到此目录中。若同时指定多个文件或目录，而最后的目的地并非一个已存在的目录，则会出现错误信息参数:.复制文件，只有源文件较目... 阅读全文
posted @ 2015-06-16 10:29 hewep 阅读(131) 评论(0) 推荐(0)
Linux 安装 hadoop
摘要：1.下载安装包: wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz2.移动到 opt 下 mv hadoop-1.2.1.tar.gz /opt/3. 解压缩文件 tar -zxvf... 阅读全文
posted @ 2015-06-15 23:59 hewep 阅读(158) 评论(0) 推荐(0)
linux (ubuntu) 安装 jdk
摘要：首先执行 javac 命令后显示如下:1. sudo apt-get install openjdk-7-jdk2.vim /etc/profile (添加以下4行)3 source /etc/profile 阅读全文
posted @ 2015-06-15 21:44 hewep 阅读(54) 评论(0) 推荐(0)