Peanut's blog

摘要： 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware（商品硬件）上运行，horizontally scalable（水平可扩展），并支持 highly availab 阅读全文

摘要： 认识Kibana Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana的使用场景主要集中在两方面： 实时监控。通过histogram面板，配合不同条件的多个queries可以对一个 阅读全文

摘要： 说明 何为自动发现？首先我们监控多tomcat实例，如果一个个实例地添加或许可以完成当前需求。但是日后随着实例的增多，再手动一个个去添加就十分不方便了。这时候需要自动发现这个功能，来帮助我们自动添加监控tomcat实例。本文就以监控tomcat线程为例，来实现这个自动发现的功能。这里zabbix版本 阅读全文

摘要： Sentry权限控制通过Beeline（Hiveserver2 SQL 命令行接口）输入Grant 和 Revoke语句来配置。语法跟现在的一些主流的关系数据库很相似。需要注意的是：当sentry服务启用后，我们必须使用beeline接口来执行hive查询，Hive Cli并不支持sentry。 C 阅读全文

摘要： 介绍 在hive命令行beeline中写一些很长的查询语句不是很方便，查询结果也不是很友好，于是找了一个hive的客户端界面工具DBeaver，它也支持很多符合JDBC连接的数据库，例如MySQL、Oracle等。下载地址：http://dbeaver.jkiss.org/download/ 连接 阅读全文

摘要： 1、概要 1.1 环境信息 hadoop：cdh5.10 os：centos6.7 user：root hive、impala已集成sentry 1.2 访问控制权限 这里通过使用openldap来控制hive、impala的访问权限，即通过用户名、密码来进行访问。而hive、impala内部则已集 阅读全文

摘要： 1、安装配置sentry 详细步骤见上一篇安装配置sentry。 2、配置impala 注：以下配置未集成kerberos安全认证 在/etc/imapla/conf目录下创建sentry site.xml文件，并添加： 修改/etc/default/impala文件，在IMPALA_SERVER_ 阅读全文

摘要： 1、安装配置sentry 详细步骤见上一篇 "安装配置sentry" 2、配置hive 2.1 Hive server2集成Sentry 在 /etc/hive/conf/hive site.xml中添加： 在/etc/hive/conf目录下创建sentry.xml文件，并添加： 2.2 Hive 阅读全文

摘要： 1、背景 部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd stg hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp tt hadoop） 如果是两个都没有做安全认证的集群互传文件，使用distcp 阅读全文

摘要： 环境 系统环境：Centos6.7 Hadoop版本：CDH5.10 jdk版本：jdk7 注：本文并未集成kerberos组件 安装Sentry Server 选择安装hive的节点进行安装测试： 配置 配置sentry service相关参数 由于未配置kerberos，添加以下配置 配置 se 阅读全文