摘要：关于python文件操作总是记不住API。昨晚写的时候用到了这些，但是没记住，于是就索性整理一下吧：python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。得到当前工作目录，即当前Python脚本工作的目录路径:os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录：os.removedirs（r“c：\python”）检验给出的路径是否是一个文件：os.path.isfile()检验给出的路径是否是一个目录：os.path.isdir()判断是否是绝对路径：os.path.isa 阅读全文

摘要：位置参数可以用shift命令左移。比如shift 3表示原来的$4现在变成$1，原来的$5现在变成$2等等，原来的$1、$2、$3丢弃，$0不移动。不带参数的shift命令相当于shift 1。非常有用的 Unix 命令:shift。我们知道，对于位置变量或命令行参数，其个数必须是确定的，或者当 Shell 程序不知道其个数时，可以把所有参数一起赋值给变量$*。若用户要求 Shell 在不知道位置变量个数的情况下，还能逐个的把参数一一处理，也就是在 $1 后为 $2,在 $2 后面为 $3 等。在 shift 命令执行前变量 $1 的值在 shift 命令执行后就不可用了。示例如下：#测试 s 阅读全文

摘要：深入浅出Shell编程: Shell 变量1 系统变量2 Shell用户变量2.1 基础2.2 使用技巧 2.3 shell 中的数组3 shell 环境变量先不要管Shell的版本，来看看Shell 变量，在Shell中有三种变量：系统变量，环境变量，用户变量。其中用户变量在编程过程中使用最多，系统变量在对参数判断和命令返回值判断会使用，环境变量主要是在程序运行的时候需要设置。1 系统变量Shell常用的系统变量并不多，但却十分有用，特别是在做一些参数检测的时候。下面是Shell常用的系统变量表示方法描述$n$1 表示第一个参数，$2 表示第二个参数 ...$#命令行参数的个数$0当前程序. 阅读全文

摘要：https://github.com/tomwhite/hadoop-book/blob/2e/ 阅读全文

摘要：在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。进入HADOOP_HOME目录。执行sh bin/hadoop fs -l 阅读全文

摘要：Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证 阅读全文

摘要：JobTracker和TaskTrackerJobTracker 对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每 阅读全文