Jenkin.K - 博客园

2017年9月8日

摘要： kerberos相关： hadoop相关：命令行操作： -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls 阅读全文

posted @ 2017-09-08 13:41 Jenkin.K 阅读(12780) 评论(0) 推荐(0) 编辑

datanode扩容步骤

摘要：新扩容机器规划： 1. 修改/etc/hosts 增加新扩容机器的hostname 2. 将/etc/hosts同步到其他服务器 3. 将hadoop拷贝至slave3 4. 将jsvc拷贝至slave3(安全模式datanode需要通过jsvc启动) 5. kadmin添加pricipal 6. 阅读全文

posted @ 2017-09-08 00:03 Jenkin.K 阅读(922) 评论(0) 推荐(0) 编辑

2017年9月5日

hadoop HA+kerberos HA集群搭建

摘要： IP、主机名规划 hadoop集群规划： kerberos集群规划：用户权限规划：前提是hadoop集群和kerberos服务器都安装完毕： hadoop集群搭建：http://www.cnblogs.com/kisf/p/7460235.html kerberos服务器搭建：http://ww 阅读全文

posted @ 2017-09-05 10:44 Jenkin.K 阅读(1602) 评论(0) 推荐(0) 编辑

2017年9月4日

hadoop HA + kerberos HA集群搭建问题和测试总结

摘要： 1. 常见问题（1）hostname设置问题。vi /etc/sysconfig/network （2）集群/etc/hosts没有统一。（3）yarn slave需要单独启动。./sbin/yarn-daemon.sh start resourcemanager （4）namenode格式化需阅读全文

posted @ 2017-09-04 17:00 Jenkin.K 阅读(480) 评论(0) 推荐(0) 编辑

kerberos master-slave搭建

摘要： 1. 安装kerberos server client 2. hosts 3. 修改配置文件 /etc/krb5.conf /var/kerberos/krb5kdc/kdc.conf 4. 初始化数据库等待一会，输入设定密码。 5. 添加principal 输入设定密码。 6. 修改acl 7. 阅读全文

posted @ 2017-09-04 13:27 Jenkin.K 阅读(861) 评论(0) 推荐(0) 编辑

2017年8月31日

hadoop yarn HA集群搭建

摘要：可先完成hadoop namenode HA的搭建：http://www.cnblogs.com/kisf/p/7458519.html 搭建yarnde HA只需要在namenode HA配置基础上修改yarn-site.xml。 1. 修改yarn-site.xml (yarn另一台机器上一定要阅读全文

posted @ 2017-08-31 19:59 Jenkin.K 阅读(448) 评论(0) 推荐(0) 编辑

hadoop namenode HA集群搭建

摘要： hadoop集群搭建(namenode是单点的) http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建：http://www.cnblogs.com/kisf/p/7357184.html zk可视化管理工具：http://www.cnb 阅读全文

posted @ 2017-08-31 15:31 Jenkin.K 阅读(976) 评论(0) 推荐(0) 编辑

大数据原理学习

摘要：一、Hadoop NameNode 高可用 (High Availability) 实现解析 https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/ 阅读全文

posted @ 2017-08-31 10:24 Jenkin.K 阅读(168) 评论(0) 推荐(0) 编辑

hadoop集群搭建

摘要：前置条件：JDK安装，JAVA_HOME配置。 1. 下载 wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 2. 解压配置hadoop home 3. 配置阅读全文

posted @ 2017-08-31 01:26 Jenkin.K 阅读(382) 评论(0) 推荐(0) 编辑

2017年8月30日

大数据

摘要： Presto yarn hdfs kafaka 消息 kerberos 安全认证 consul zk 阅读全文

posted @ 2017-08-30 15:25 Jenkin.K 阅读(83) 评论(0) 推荐(0) 编辑

公告