曹守鑫

摘要： 深入浅出Shell编程: Shell 变量1 系统变量2 Shell用户变量2.1 基础2.2 使用技巧 2.3 shell 中的数组3 shell 环境变量先不要管Shell的版本，来看看Shell 变量，在Shell中有三种变量：系统变量，环境变量，用户变量。其中用户变量在编程过程中使用最多，系统变量在对参数判断和命令返回值判断会使用，环境变量主要是在程序运行的时候需要设置。1 系统变量Shell常用的系统变量并不多，但却十分有用，特别是在做一些参数检测的时候。下面是Shell常用的系统变量表示方法描述$n$1 表示第一个参数，$2 表示第二个参数 ...$#命令行参数的个数$0当前程序. 阅读全文

摘要： https://github.com/tomwhite/hadoop-book/blob/2e/ 阅读全文

摘要： 在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。进入HADOOP_HOME目录。执行sh bin/hadoop fs -l 阅读全文

摘要： Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证 阅读全文

摘要： JobTracker和TaskTrackerJobTracker 对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每 阅读全文

摘要： .tar解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）---------------------------------------------.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：gzip FileName.tar.gz 和 .tgz解压：tar zxvf FileName.tar.gz压缩：tar zcvf FileName.tar.gz DirName----------------------------------------- 阅读全文

摘要： ava程序作为windows服务运行Installing and Running as an NT Service1.下载Java Service Wrapper2.以控制台方式运行2.1建立你的应用目录2.2拷贝运行批处理文件 把 {WRAPPER_HOME}/src/bin/App.bat.in {WRAPPER_HOME}/src/bin/InstallApp-NT.bat.in {WRAPPER_HOME}/src/bin/UninstallApp-NT.bat.in 拷贝到你的应用程序目录（MyApp）中： C:/MyApp/bin/MyApp.bat C:/MyApp/bin/In 阅读全文