hadoop配置说明
core-site.xml
| name | value | Description |
| fs.default.name | hdfs://hadoopmaster:9000 | 定义HadoopMaster的URI和port |
| fs.checkpoint.dir | /opt/data/hadoop1/hdfs/namesecondary1 | 定义hadoop的name备份的路径，官方文档说是读取这个，写入dfs.name.dir |
| fs.checkpoint.period | 1800 | 定义name备份的备份间隔时间，秒为单位，仅仅对snn生效，默认一小时 |
| fs.checkpoint.size | 33554432 | 以日志大小间隔做备份间隔。仅仅对snn生效，默认64M |
| io.compression.codecs |
org.apache.hadoop.io.compress.DefaultCodec, |
Hadoop所使用的编解码器，gzip和bzip2为自带，lzo需安装hadoopgpl或者kevinweil，逗号分隔，snappy也须要单独安装 |
| io.compression.codec.lzo.class | com.hadoop.compression.lzo.LzoCodec | LZO所使用的压缩编码器 |
| topology.script.file.name | /hadoop/bin/RackAware.py | 机架感知脚本位置 |
| topology.script.number.args | 1000 | 机架感知脚本管理的主机数，IP地址 |
| fs.trash.interval | 10800 | HDFS垃圾箱设置。能够恢复误删除。分钟数，0为禁用，加入该项无需重新启动hadoop |
| hadoop.http.filter.initializers |
org.apache.hadoop.security. |
须要jobtracker,tasktracker |
| hadoop.http.authentication.type | simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# | 验证方式，默觉得简单，也可自定义class,需配置全部节点 |
|
hadoop.http.authentication. token.validity (排版调整，实际配置不要回车) |
36000 | 验证令牌的有效时间,需配置全部节点 |
|
hadoop.http.authentication. signature.secret (排版调整，实际配置不要回车) |
默认可不写參数 | 默认不写在hadoop启动时自己主动生成私密签名,需配置全部节点 |
| hadoop.http.authentication.cookie.domain | domian.tld | http验证所使用的cookie的域名。IP地址訪问则该项无效，必须给全部节点都配置域名才干够。 |
|
hadoop.http.authentication. simple.anonymous.allowed (排版调整，实际配置不要回车) |
true | false | 简单验证专用。默认同意匿名訪问，true |
|
hadoop.http.authentication. |
HTTP/localhost@$LOCALHOST | Kerberos验证专用，參加认证的实体机必须使用HTTP作为K的Name |
|
hadoop.http.authentication. kerberos.keytab (排版调整。实际配置不要回车) |
/home/xianglei/hadoop.keytab | Kerberos验证专用，密钥文件存放位置 |
| hadoop.security.authorization | true|false | Hadoop服务层级验证安全验证，需配合hadoop-policy.xml使用，配置好以后用dfsadmin,mradmin -refreshServiceAcl刷新生效 |
| io.file.buffer.size | 131072 | 用作序列化文件处理时读写buffer的大小 |
| hadoop.security.authentication | simple | kerberos | hadoop本身的权限验证，非http訪问，simple或者kerberos |
| hadoop.logfile.size | 1000000000 | 设置日志文件大小，超过则滚动新日志 |
| hadoop.logfile.count | 20 | 最大日志数 |
| io.bytes.per.checksum | 1024 | 每校验码所校验的字节数。不要大于io.file.buffer.size |
| io.skip.checksum.errors | true | false | 处理序列化文件时跳过校验码错误，不抛异常。默认false |
| io.serializations |
org.apache.hadoop.io. (排版须要。实际配置不要回车) |
序列化的编解码器 |
| io.seqfile.compress.blocksize | 1024000 | 块压缩的序列化文件的最小块大小，字节 |
| webinterface.private.actions | true | false | 设为true。则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false |
hdfs-site.xml
| name | value | Description |
| dfs.default.chunk.view.size | 32768 | namenode的http訪问页面中针对每一个文件的内容显示大小，通常无需设置。 |
| dfs.datanode.du.reserved | 1073741824 | 每块磁盘所保留的空间大小，须要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节 |
| dfs.name.dir |
/opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name |
NN所使用的元数据保存，一般建议在nfs上保留一份，作为1.0的HA方案使用。也能够在一台server的多块硬盘上使用 |
| dfs.web.ugi | nobody,nobody | NN,JT等所使用的web tracker页面server所使用的用户和组 |
| dfs.permissions | true | false | dfs权限是否打开。我一般设置false，通过开发工具培训别人界面操作避免误操作，设置为true有时候会遇到数据由于权限訪问不了。 |
| dfs.permissions.supergroup | supergroup | 设置hdfs超级权限的组。默认是supergroup，启动hadoop所使用的用户一般是superuser。 |
| dfs.data.dir |
/opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ... |
真正的datanode数据保存路径。能够写多块硬盘，逗号分隔 |
| dfs.datanode.data.dir.perm | 755 | datanode所使用的本地目录的路径权限，默认755 |
| dfs.replication | 3 | hdfs数据块的复制份数，默认3。理论上份数越多跑数速度越快，可是须要的存储空间也很多其它。有钱人能够调5或者6 |
| dfs.replication.max | 512 |
有时dn暂时故障恢复后会导致数据超过默认备份数。 复制份数的最多数，通常没什么用，不用写配置文件中。 |
| dfs.replication.min | 1 | 最小份数。作用同上。 |
| dfs.block.size | 134217728 |
每一个文件块的大小。我们用128M，默认是64M。 这个计算须要128*1024^2，我碰上过有人直接写128000000，十分浪漫。 |
| dfs.df.interval | 60000 | 磁盘用量统计自己主动刷新时间。单位是毫秒。 |
| dfs.client.block.write.retries | 3 | 数据块写入的最多重试次数，在此次数之前不会捕获失败。 |
| dfs.heartbeat.interval | 3 | DN的心跳检測时间间隔。秒 |
| dfs.namenode.handler.count | 10 | NN启动后展开的线程数。 |
| dfs.balance.bandwidthPerSec | 1048576 | 做balance时所使用的每秒最大带宽，使用字节作为单位。而不是bit |
| dfs.hosts | /opt/hadoop/conf/hosts.allow | 一个主机名列表文件，这里的主机是同意连接NN的，必须写绝对路径。文件内容为空则觉得全都能够。 |
| dfs.hosts.exclude | /opt/hadoop/conf/hosts.deny | 基本原理同上，仅仅只是这里放的是禁止訪问NN的主机名称列表。这在从集群中摘除DN会比較实用。 |
| dfs.max.objects | 0 | dfs最大并发对象数，HDFS中的文件。文件夹块都会被觉得是一个对象。0表示不限制 |
| dfs.replication.interval | 3 |
NN计算复制块的内部间隔时间，通常不需写入配置文件。 默认就好 |
| dfs.support.append | true | false | 新的hadoop支持了文件的APPEND操作。这个就是控制是否同意文件APPEND的。可是默认是false。理由是追加还有bug。 |
| dfs.datanode.failed.volumes.tolerated | 0 | 可以导致DN挂掉的坏硬盘最大数，默认0就是仅仅要有1个硬盘坏了，DN就会shutdown。 |
| dfs.secondary.http.address | 0.0.0.0:50090 | SNN的tracker页面监听地址和port |
| dfs.datanode.address | 0.0.0.0:50010 | DN的服务监听port。port为0的话会随机监听port。通过心跳通知NN |
| dfs.datanode.http.address | 0.0.0.0:50075 | DN的tracker页面监听地址和port |
| dfs.datanode.ipc.address | 0.0.0.0:50020 | DN的IPC监听port，写0的话监听在随机port通过心跳传输给NN |
| dfs.datanode.handler.count | 3 | DN启动的服务线程数 |
| dfs.http.address | 0.0.0.0:50070 | NN的tracker页面监听地址和port |
| dfs.https.enable | true | false | NN的tracker是否监听在HTTPS协议，默认false |
| dfs.datanode.https.address | 0.0.0.0:50475 | DN的HTTPS的tracker页面监听地址和port |
| dfs.https.address | 0.0.0.0:50470 | NN的HTTPS的tracker页面监听地址和port |
| dfs.datanode.max.xcievers | 2048 |
相当于linux下的打开文件最大数量，文档中无此參数。当出现DataXceiver报错的时候，须要调大。 默认256 |
浙公网安备 33010602011771号