摘要： 由于我的博客主要是由为知笔记推过来的，博客圆的markdown插件太久太久没更新不支持新的markdown语法，导致与为知笔记的markdown语法不兼容，看起来十分的混乱。如果你需要，可以给你源文件或者PDF。 阅读全文

摘要： 参考： http://dataunion.org/22887.html 1.mapreduce_shuffle does not exist 执行任何时报错： 原因是yarn中没有aux的信息。在yarn－site.xml中加入： 2.yarn启动正常但是WEB打不开 netstat -a|grep 阅读全文

摘要： 28. Sqoop: java.lang.NullPointerException sqoop import --connect jdbc:oracle:thin:@//xxxx:1521/aps --username xxx --password 'xxxx' --query " select R 阅读全文

摘要： 下载安装包并解压设置hbase环境变量配置hbase-site.xml启动hbase检测hbase启动情况测试hbase shell 下载安装包并解压 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ….. [hbase@hadoop1 opt]$ tar -zxvf hbase-1.... 阅读全文

摘要： 1.简介2.namenode和datanode3.The File System Namespace 文件系统命名空间4.Data Replication 数据复制5.Replica Placement: The First Baby Steps 复制块放置：初步的想法6.Replica Selection 复制块的选择7.Safemode 安全模式8.The Persistence of... 阅读全文

摘要： 1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结 骚年们，我们今天来学习hdfs的权限~ 请忽略4，5两段内容~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hado... 阅读全文

摘要： 前言2. Native Hadoop Library3. 使用本地库4. 本地库组件5. 支持的平台6. 下载7. 编译8. 运行时观察9. 检查本地库10. 如果共享本地库 小伙伴还记得每次启动hdfs就会报can't find native libriaries吗？今天我们就来聊聊这个~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-proj... 阅读全文

摘要： 1. hive权限简介1.1 hive中的用户与组1.2 使用场景1.3 权限模型1.3 hive的超级用户2. 授权管理2.1 开启权限管理2.2 实现超级用户2.3 实现hiveserver2用户名密码2.4 授权2.4.1 角色管理2.4.2 权限管理2.4.3 操作与权限对应关系 文档链接： 阅读全文

摘要： 1.hadoop用户代理简介2.配置3.实验 1.hadoop用户代理简介 hadoop用户代理功能的作用是让超级用户superuser模拟一个普通用户来执行任务。比如用户joe通过oozie提交一个任务到集群上，如果不设置用户代理，那么就会以启动oozie(oozie)进程的用户来提交任务,这样任务就显示为oozie，无法判断是哪个用户提交了任务。当开始proxy功能后，会以superuse... 阅读全文

摘要： 前言1.hive简介1.1 hive组件与相应功能:1.2 hive的表类型1.3 分区表1.3 分隔符1.4 hive的数据存储2.数据类型2.1 基本数据类型2.1 复杂数据类型2.3 NULL3.基本操作3.1 数据库操作3.2 表操作3.3 视图3.4 数据导入导出3.hsql3.1 hsql基本操作3.2 hive内置函数3.2 自定义函数3.3 注册函数4.hive权限管理4.1 权限... 阅读全文