摘要：
User root is not allowed to impersonate anonymous 修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项 <property> <name>hadoop.proxyuser.root.hosts</name> < 阅读全文
posted @ 2019-04-04 10:06
大数据从业者FelixZh
阅读(1123)
评论(0)
推荐(0)
摘要：
Yes. That is a known issue. Modify Ambari Server's java.home to the standard oracle jdk. 3 隐藏 6 · 分享 rgarcia · 2015年09月23日 20:27 0 that fixed it. Than 阅读全文
posted @ 2019-04-03 20:01
大数据从业者FelixZh
阅读(1448)
评论(0)
推荐(0)
摘要：
HDP 2.6 requires libtirpc-devel 个问题，截止 Mustafa Kemal MAYUK 2017年06月30日 06:30 hadoopPowerSystems Hello, I am trying to install HDP 2.6 on RHEL 7.2 ppc6 阅读全文
posted @ 2019-04-02 19:09
大数据从业者FelixZh
阅读(1240)
评论(0)
推荐(0)
摘要：
众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 不 阅读全文
posted @ 2019-04-02 13:47
大数据从业者FelixZh
阅读(6403)
评论(0)
推荐(1)
摘要：
方法1.ntp 平滑同步时间 （一）确认ntp的安装 1）确认是否已安装ntp 【命令】 rpm –qa | grep ntp 若只有ntpdate而未见ntp，则需删除原有ntpdate。如： ntpdate-4.2.6p5-22.el7_0.x86_64 fontpackages-filesys 阅读全文
posted @ 2019-04-01 19:35
大数据从业者FelixZh
阅读(4916)
评论(0)
推荐(0)
摘要：
前言 本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： Re 阅读全文
posted @ 2019-03-29 17:20
大数据从业者FelixZh
阅读(1685)
评论(0)
推荐(0)
摘要：
1、mysql官网下载安装包，官网地址：www.mysql.com [root@seiang software]# ll total 580020 -rw-r--r--. 1 root root 593940480 Mar 25 18:57 mysql-5.7.21-1.el7.x86_64.rpm 阅读全文
posted @ 2019-03-29 14:31
大数据从业者FelixZh
阅读(2856)
评论(0)
推荐(0)
摘要：
Ubuntu的软件包格式是deb，如果要安装rpm的包，则要先用alien把rpm转换成deb。 sudo apt-get install alien #alien默认没有安装，所以首先要安装它 sudo alien xxxx.rpm #将rpm转换位deb，完成后会生成一个同名的xxxx.deb 阅读全文
posted @ 2019-03-29 10:50
大数据从业者FelixZh
阅读(11581)
评论(0)
推荐(0)
摘要：
Running Apache Storm Securely Apache Storm offers a range of configuration options when trying to secure your cluster. By default all authentication a 阅读全文
posted @ 2019-03-26 14:07
大数据从业者FelixZh
阅读(621)
评论(0)
推荐(0)
摘要：
Ambari安装 1 Ambari简介 Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。同时,ambari也提供了一个基于它自身RESTful接口实现的直观、简单易用的web管理界面。 Ambari允许系统管理员进行以下操作： 1 阅读全文
posted @ 2019-03-25 17:38
大数据从业者FelixZh
阅读(2899)
评论(0)
推荐(0)
摘要：
一、Ambari基本架构 img016.jpg Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建服务的时候，Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari A 阅读全文
posted @ 2019-03-25 17:17
大数据从业者FelixZh
阅读(2151)
评论(0)
推荐(0)
摘要：
1.安装rpmrebuild 和安装rpmbuild rpmrebuild下载链接： https://sourceforge.net/projects/rpmrebuild/files/rpmrebuild/2.12-1/ rpmbuild直接用yum安装 ： 2.配置rpm编译目录 保存。 3.创 阅读全文
posted @ 2019-03-20 14:50
大数据从业者FelixZh
阅读(8998)
评论(1)
推荐(1)
摘要：
直接看官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hbasesinks 阅读全文
posted @ 2019-03-20 09:20
大数据从业者FelixZh
阅读(443)
评论(0)
推荐(0)
摘要：
1. 提交任务的命令 spark-submit \--class <classname> \--master yarn \--deploy-mode client \--executor-memory 2g \--executor-cores 2 \--driver-memory 2g \--num 阅读全文
posted @ 2019-03-20 09:01
大数据从业者FelixZh
阅读(3060)
评论(0)
推荐(0)
摘要：
一、准备环境： 创建Kafka Topic和HBase表 1. 在kerberos环境下创建Kafka Topic 1.1 因为kafka默认使用的协议为PLAINTEXT，在kerberos环境下需要变更其通信协议： 在${KAFKA_HOME}/config/producer.propertie 阅读全文
posted @ 2019-03-19 14:52
大数据从业者FelixZh
阅读(1804)
评论(0)
推荐(0)
摘要：
Use the following steps to run a Spark Streaming job on a Kerberos-enabled cluster. Select or create a user account to be used as principal. This shou 阅读全文
posted @ 2019-03-19 14:39
大数据从业者FelixZh
阅读(342)
评论(0)
推荐(0)
摘要：
Ranger-Kafka插件安装, 使用Ranger0.7.0版本，集成Kafka插件到Kafka集群, Kafka Plugin需要安装到所有的Kafka的集群节点上面。 1.登陆Kafka的安装用户 2.下载插件包 scp pub@10.43.156.193:/home/pub/ranger/r 阅读全文
posted @ 2019-03-13 14:49
大数据从业者FelixZh
阅读(2150)
评论(0)
推荐(0)
摘要：
This post originally appeared on the Apache Flink blog. It was reproduced here under the Apache License, Version 2.0. This blog post provides an intro 阅读全文
posted @ 2019-03-09 17:38
大数据从业者FelixZh
阅读(3056)
评论(0)
推荐(0)
摘要：
In this blog post I will show you kafka integration with ganglia, this is very interesting & important topic for those who want to do bench-marking, m 阅读全文
posted @ 2019-03-07 16:39
大数据从业者FelixZh
阅读(522)
评论(0)
推荐(0)
摘要：
Kafka Brokers per Server Recommend 1 Kafka broker per server- Kafka not only disk-intensive but can be network intensive so if you run multiple broker 阅读全文
posted @ 2019-03-07 16:27
大数据从业者FelixZh
阅读(325)
评论(0)
推荐(0)
摘要：
This section describes how to install and enable the Ranger Kafka plug-in. The Ranger Kafka plug-in is automatically installed when Kafka is installed 阅读全文
posted @ 2019-03-07 16:05
大数据从业者FelixZh
阅读(563)
评论(0)
推荐(0)
摘要：
Hi, After enabled Kerberos using Ambari, I got problem creating topics in Kafka using the kafka-topics.sh script. The topic was created, but its statu 阅读全文
posted @ 2019-03-07 14:15
大数据从业者FelixZh
阅读(480)
评论(0)
推荐(0)
摘要：
Short Description: Step by Step Recipe for Securing Kafka with Kerberos. Short Description: Article I found it is a little tricky to get started with 阅读全文
posted @ 2019-03-07 14:13
大数据从业者FelixZh
阅读(315)
评论(0)
推荐(0)
摘要：
PROBLEM DESCRIPTION When creating or deleting topics in Kafka, they cannot be authorized through the Ranger policies. The following errors are display 阅读全文
posted @ 2019-03-07 13:42
大数据从业者FelixZh
阅读(6203)
评论(0)
推荐(0)
摘要：
Hbase版本：Hortonworks Hbase 1.1.2 问题描述：使用Scala操作Hbase时，发生空指针异常（java.lang.RuntimeException: java.lang.NullPointerException），异常如下： 问题分析： 该异常为客户端去zookeeper 阅读全文
posted @ 2019-03-05 17:42
大数据从业者FelixZh
阅读(2897)
评论(0)
推荐(0)
摘要：
使用ranger对kafka进行鉴权测试环境：ranger-kafka-plugin为0.6.3版本，kafka版本为kafka_2.10-0.10.1.1，且kafka broker为一个节点。一、Ranger对kafka进行权限控制，前提需要kafka开启kerberos认证（注意：若kafka 阅读全文
posted @ 2019-03-05 10:36
大数据从业者FelixZh
阅读(1924)
评论(0)
推荐(0)
摘要：
Follow these steps to enable and configure the Kafka plugin for Ranger. Before you begin The default policy user (ambari-qa) used for a plug-in should 阅读全文
posted @ 2019-03-05 09:44
大数据从业者FelixZh
阅读(360)
评论(0)
推荐(0)
摘要：
Overview In Apache Kafka, the security feature is supported from version 0.9. When Kerberos is enabled, we need to have the authorization to access Ka 阅读全文
posted @ 2019-03-05 09:33
大数据从业者FelixZh
阅读(534)
评论(0)
推荐(0)
摘要：
Exception in thread "main" org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure is thrown while creating kafka topic 个问题，截止 Dee 阅读全文
posted @ 2019-03-02 15:17
大数据从业者FelixZh
阅读(2382)
评论(0)
推荐(0)
Why Ambari is setting the security protocol of the kafka to PLAINTEXTSASL instead of SASL_PLAINTEXT?
摘要：
首页 / Data Ingestion & Streaming / 首页 / Data Ingestion & Streaming / Why Ambari is setting the security protocol of the kafka to PLAINTEXTSASL instead 阅读全文
posted @ 2019-02-28 20:04
大数据从业者FelixZh
阅读(1673)
评论(0)
推荐(0)
浙公网安备 33010602011771号