简单，可复制

摘要： 1.集群配置 修改conf/hdfs-site.xml文件 <property> <name>dfs.hosts.exclude</name> <value>/data/soft/hadoop/conf/excludes</value> <description>Names a file that contains a list of hosts that are not permitted to connect to the namenode. The full pathname of the file must be 阅读全文

摘要： 1.部署hadoop和普通的datanode一样。安装jdk，ssh2.修改host和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves添加新增节点的ip或host4.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker5.均衡block[root@slave-004 hadoop]# ./bin/start 阅读全文

摘要： Hadoop回收站trash，默认是关闭的。 习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了1.修改conf/core-site.xml,增加<property> <name>fs.trash.interval</name> <value>1440</value> <description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled. </descriptio 阅读全文

摘要： 概述所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析框架用于解析一般的选项和运行类。命令选项--config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。GENERIC_OPTIONS 多个命令都支持的通用选项。COMMAND命令选项 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。常规选项下面 阅读全文

摘要： FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/chi 阅读全文

摘要： 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要： 1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop7、core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等8、hdfs-site. 阅读全文

摘要： 1) 安装jdk下载jdk-6u21-linux-i586.bin然后修改/etc/profile：export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存，并执行source /etc/profile2) 配置hostNamenode的机器，需要配置集群中所有机器的ip修改/etc/hosts10.10.236.190 master 10.10.236.191 slave-A 10... 阅读全文

摘要： 服务器的安全性的重要性，可以关系到负责人的饭碗，而防火墙对于服务器的安全性相当重要，但是防火墙的设置需要小心，尤其是初学者，很容易弄错，一旦弄错，很容易连不上网络，要自己去机房重新配置防火墙。如果不熟悉配置，一个是怕权限太严格，容易导致自己都不能访问，上面的程序也很可能不能正常访问网络，另一个是怕权限设置的太松，安全性不够，容易被侵入。所以初学者很需要一个简单的防火墙模板，经过简单修改，就能满足一般的安全要求，不用走多个弯路。于是我参考鸟哥的私房菜，经过修改，写出以下防火墙的模板，帮助初学者入门，巩固防火墙。脚本内容如下,保存脚本内容为iptables.sh,然后直接执行，还要加入/etc/r 阅读全文

摘要： 前言socket选项主要是由setsockopt和getsockopt函数完成的，这里主要是记录我自己常用的一些socket选项。函数原型int getsockopt(int sockfd, int level, int optname, void *optval, socklen_t *optlen);int setsockopt(int sockfd, int level, int optname, const void *optval, socklen_t optlen);实用例子设置socket套接字可以复用地址i... 阅读全文