摘要: 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行,horizontally scalable(水平可扩展),并支持 highly availab 阅读全文
posted @ 2017-08-16 17:47 PeanutLike 阅读(4127) 评论(2) 推荐(2) 编辑
摘要: 认识Kibana Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana的使用场景主要集中在两方面: 实时监控。通过histogram面板,配合不同条件的多个queries可以对一个 阅读全文
posted @ 2017-07-28 10:18 PeanutLike 阅读(28925) 评论(1) 推荐(5) 编辑
摘要: 说明 何为自动发现?首先我们监控多tomcat实例,如果一个个实例地添加或许可以完成当前需求。但是日后随着实例的增多,再手动一个个去添加就十分不方便了。这时候需要自动发现这个功能,来帮助我们自动添加监控tomcat实例。本文就以监控tomcat线程为例,来实现这个自动发现的功能。这里zabbix版本 阅读全文
posted @ 2017-07-19 09:42 PeanutLike 阅读(11261) 评论(8) 推荐(3) 编辑
摘要: Sentry权限控制通过Beeline(Hiveserver2 SQL 命令行接口)输入Grant 和 Revoke语句来配置。语法跟现在的一些主流的关系数据库很相似。需要注意的是:当sentry服务启用后,我们必须使用beeline接口来执行hive查询,Hive Cli并不支持sentry。 C 阅读全文
posted @ 2017-06-30 14:16 PeanutLike 阅读(7144) 评论(0) 推荐(1) 编辑
摘要: 介绍 在hive命令行beeline中写一些很长的查询语句不是很方便,查询结果也不是很友好,于是找了一个hive的客户端界面工具DBeaver,它也支持很多符合JDBC连接的数据库,例如MySQL、Oracle等。下载地址:http://dbeaver.jkiss.org/download/ 连接 阅读全文
posted @ 2017-06-15 10:14 PeanutLike 阅读(11252) 评论(0) 推荐(0) 编辑
摘要: 1、概要 1.1 环境信息 hadoop:cdh5.10 os:centos6.7 user:root hive、impala已集成sentry 1.2 访问控制权限 这里通过使用openldap来控制hive、impala的访问权限,即通过用户名、密码来进行访问。而hive、impala内部则已集 阅读全文
posted @ 2017-05-16 18:29 PeanutLike 阅读(5532) 评论(0) 推荐(1) 编辑
摘要: 1、安装配置sentry 详细步骤见上一篇安装配置sentry。 2、配置impala 注:以下配置未集成kerberos安全认证 在/etc/imapla/conf目录下创建sentry site.xml文件,并添加: 修改/etc/default/impala文件,在IMPALA_SERVER_ 阅读全文
posted @ 2017-05-15 16:36 PeanutLike 阅读(1099) 评论(0) 推荐(0) 编辑
摘要: 1、安装配置sentry 详细步骤见上一篇 "安装配置sentry" 2、配置hive 2.1 Hive server2集成Sentry 在 /etc/hive/conf/hive site.xml中添加: 在/etc/hive/conf目录下创建sentry.xml文件,并添加: 2.2 Hive 阅读全文
posted @ 2017-05-08 09:44 PeanutLike 阅读(2486) 评论(0) 推荐(0) 编辑
摘要: 1、背景 部门有个需求,在网络互通的情况下,把现有的hadoop集群(未做Kerberos认证,集群名为:bd stg hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证,集群名为zp tt hadoop) 如果是两个都没有做安全认证的集群互传文件,使用distcp 阅读全文
posted @ 2017-05-05 10:03 PeanutLike 阅读(4859) 评论(0) 推荐(1) 编辑
摘要: 环境 系统环境:Centos6.7 Hadoop版本:CDH5.10 jdk版本:jdk7 注:本文并未集成kerberos组件 安装Sentry Server 选择安装hive的节点进行安装测试: 配置 配置sentry service相关参数 由于未配置kerberos,添加以下配置 配置 se 阅读全文
posted @ 2017-05-04 17:23 PeanutLike 阅读(2691) 评论(0) 推荐(0) 编辑