随笔分类 - - Hadoop
摘要：一、说明 随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复机制来保证它们的企业（数据）资产。备份Hbase时的难点是其待备份的数据集可能非常巨大，因此备份方案必须有很高的效率。Hbase备份方案必须既能够伸缩至对数百TB的存储容量进行备份
阅读全文
摘要：关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 C
阅读全文
摘要：介绍 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件： 关系数据库（目前仅支持mysql）
阅读全文
摘要：介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware（商品硬件）上运行，horizontally scalable（水平可扩展），并支持 highly availab
阅读全文
摘要：Sentry权限控制通过Beeline（Hiveserver2 SQL 命令行接口）输入Grant 和 Revoke语句来配置。语法跟现在的一些主流的关系数据库很相似。需要注意的是：当sentry服务启用后，我们必须使用beeline接口来执行hive查询，Hive Cli并不支持sentry。 C
阅读全文
摘要：介绍 在hive命令行beeline中写一些很长的查询语句不是很方便，查询结果也不是很友好，于是找了一个hive的客户端界面工具DBeaver，它也支持很多符合JDBC连接的数据库，例如MySQL、Oracle等。下载地址：http://dbeaver.jkiss.org/download/ 连接
阅读全文
摘要：1、概要 1.1 环境信息 hadoop：cdh5.10 os：centos6.7 user：root hive、impala已集成sentry 1.2 访问控制权限 这里通过使用openldap来控制hive、impala的访问权限，即通过用户名、密码来进行访问。而hive、impala内部则已集
阅读全文
摘要：1、安装配置sentry 详细步骤见上一篇安装配置sentry。 2、配置impala 注：以下配置未集成kerberos安全认证 在/etc/imapla/conf目录下创建sentry site.xml文件，并添加： 修改/etc/default/impala文件，在IMPALA_SERVER_
阅读全文
摘要：1、安装配置sentry 详细步骤见上一篇 "安装配置sentry" 2、配置hive 2.1 Hive server2集成Sentry 在 /etc/hive/conf/hive site.xml中添加： 在/etc/hive/conf目录下创建sentry.xml文件，并添加： 2.2 Hive
阅读全文
摘要：1、背景 部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd stg hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp tt hadoop） 如果是两个都没有做安全认证的集群互传文件，使用distcp
阅读全文
摘要：环境 系统环境：Centos6.7 Hadoop版本：CDH5.10 jdk版本：jdk7 注：本文并未集成kerberos组件 安装Sentry Server 选择安装hive的节点进行安装测试： 配置 配置sentry service相关参数 由于未配置kerberos，添加以下配置 配置 se
阅读全文