04 2016 档案

摘要:什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的RBAC(role-based acess control)需求: 安全授 阅读全文
posted @ 2016-04-24 14:56 gongxiucheng 阅读(1951) 评论(0) 推荐(0)
摘要:安装和配置Sentry 本文主要记录安装和配置Sentry的过程,关于Sentry的介绍,请参考 Apache Sentry架构介绍 。 1. 环境说明 系统环境: 操作系统:CentOs 6.6 Hadoop版本: CDH5.4 运行用户:root 这里,我参考 使用yum安装CDH Hadoop 阅读全文
posted @ 2016-04-24 14:46 gongxiucheng 阅读(4011) 评论(0) 推荐(0)
摘要:1 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令# 阅读全文
posted @ 2016-04-10 16:35 gongxiucheng 阅读(177) 评论(0) 推荐(0)
摘要:很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Mapper 阅读全文
posted @ 2016-04-06 16:57 gongxiucheng 阅读(312) 评论(0) 推荐(0)
摘要:Kerberos 服务(kerberos官网)是一种通过网络提供安全验证处理的客户机/服务器体系结构。通过验证,可保证网络事务的发送者和接收者的身份真实。该服务还可以检验来回传递的数据的有效性(完整性),并在传输过程中对数据进行加密(保密性)。使用 Kerberos 服务,可以安全登录到其他计算机、 阅读全文
posted @ 2016-04-01 10:54 gongxiucheng 阅读(3105) 评论(0) 推荐(0)