大数据从业者FelixZh

2019年9月11日

摘要： 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "ktadd -k /etc/security/keytabs/{keytab 阅读全文

posted @ 2019-09-11 19:19 大数据从业者FelixZh 阅读(596) 评论(0) 推荐(0)

JAAS configuration for Kafka clients

摘要： Clients may configure JAAS using the client configuration property sasl.jaas.config or using the static JAAS config file similar to brokers.JAAS confi 阅读全文

posted @ 2019-09-11 16:29 大数据从业者FelixZh 阅读(1520) 评论(0) 推荐(0)

kafka集群安全化之启用kerberos与acl

摘要：一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必阅读全文

posted @ 2019-09-11 14:20 大数据从业者FelixZh 阅读(3138) 评论(0) 推荐(0)

配置两个不同kerberos认证中心的集群间的互信

摘要：两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群(XDF.COM和H 阅读全文

posted @ 2019-09-11 14:17 大数据从业者FelixZh 阅读(2544) 评论(0) 推荐(0)

2019年8月21日

hbase-indexer官网wiki

摘要： Home Requirements Getting Started Installation Tutorial Demo Indexer Configuration CLI tools Metrics Batch Indexing Installation Tutorial Demo Home Ho 阅读全文

posted @ 2019-08-21 16:24 大数据从业者FelixZh 阅读(313) 评论(0) 推荐(0)

2019年8月16日

KSQL: Streaming SQL for Apache Kafka

摘要： Few weeks back, while I was enjoying my holidays in the south of Italy, I started receiving notifications about an imminent announcement by Confluent. 阅读全文

posted @ 2019-08-16 16:53 大数据从业者FelixZh 阅读(541) 评论(0) 推荐(1)

Introducing KSQL: Streaming SQL for Apache Kafka

摘要： Update: KSQL is now available as a component of the Confluent Platform. I’m really excited to announce KSQL, a streaming SQL engine for Apache Kafka®. 阅读全文

posted @ 2019-08-16 16:42 大数据从业者FelixZh 阅读(363) 评论(0) 推荐(0)

Sqoop import导入表时报错java.lang.ClassNotFoundException: org.json.JSONObject

摘要：报错原因：sqoop缺少java-json.jar包。解决方案：一. 下载java-json.jar包地址：https://download.csdn.net/download/qq_22136439/10746801二. 解压java-json.jar包三. 把java-json.jar添加到$ 阅读全文

posted @ 2019-08-16 15:30 大数据从业者FelixZh 阅读(1999) 评论(0) 推荐(0)

重磅开源 KSQL：用于 Apache Kafka 的流数据 SQL 引擎 2017.8.29

摘要： Kafka 的作者 Neha Narkhede 在 Confluent 上发表了一篇博文，介绍了Kafka 新引入的KSQL 引擎——一个基于流的SQL。推出KSQL 是为了降低流式处理的门槛，为处理Kafka 数据提供简单而完整的可交互式SQL 接口。KSQL 目前可以支持多种流式操作，包括聚合（阅读全文

posted @ 2019-08-16 10:52 大数据从业者FelixZh 阅读(1072) 评论(0) 推荐(0)

sqoop与hbase导入导出数据

摘要：环境：sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明： 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行，需要经过hive的中间作用来完成 hbase→hive外部表阅读全文

posted @ 2019-08-16 10:08 大数据从业者FelixZh 阅读(3600) 评论(0) 推荐(0)

2019年8月15日

用sqoop将mysql的数据导入到hive表中

摘要： 1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求将 bbs_product 表中的前100条数据导导出来只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 阅读全文

posted @ 2019-08-15 17:02 大数据从业者FelixZh 阅读(1534) 评论(0) 推荐(0)

2019年8月1日

KIP-382: MirrorMaker 2.0

摘要： Status Motivation Public Interfaces Proposed Changes Remote Topics, Partitions Aggregation Cycle detection Config, ACL Sync Internal Topics Remote Clu 阅读全文

posted @ 2019-08-01 14:09 大数据从业者FelixZh 阅读(1067) 评论(0) 推荐(0)

Kafka Replication: The case for MirrorMaker 2.0

摘要： Apache Kafka has become an essential component of enterprise data pipelines and is used for tracking clickstream event data, collecting logs, gatherin 阅读全文

posted @ 2019-08-01 13:51 大数据从业者FelixZh 阅读(470) 评论(0) 推荐(0)

2019年7月19日

CentOs7.3 搭建 SolrCloud 集群服务

摘要：一、概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库； Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案。当索引越来越大阅读全文

posted @ 2019-07-19 09:27 大数据从业者FelixZh 阅读(495) 评论(0) 推荐(0)

2019年7月17日

Redis集群搭建与管理

摘要：集群简介： Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令，因为执行这些命令需要在多个 Redis 节点之间移动数据，并且在高负载的情况下，这些命令将降低 Redis 集群阅读全文

posted @ 2019-07-17 11:35 大数据从业者FelixZh 阅读(626) 评论(0) 推荐(0)

Redis 集群:CLUSTERDOWN The cluster is down

摘要： 1.错误 2.问题表现 Java项目使用redis集群时报错, 查看redis集群启动情况: ps -ef | grep "redis",如图在操作redis集群写入数据时报错: 3.解决办法 3-1进入redis安装目录 3-2修复集群节点,如7000,需要修复全部集群节点 3-3测试阅读全文

posted @ 2019-07-17 10:46 大数据从业者FelixZh 阅读(9233) 评论(0) 推荐(0)

2019年7月16日

Redis Cluster: (error) MOVED

摘要： I have a Redis cluster with the following nodes: 192.168.0.14:6379 master (slots from 0 to 16383) 192.168.0.15:6379 slave (slots from 0 to 16383) 192. 阅读全文

posted @ 2019-07-16 15:12 大数据从业者FelixZh 阅读(3061) 评论(0) 推荐(0)

2019年7月12日

Kafka重启出错：Corrupt index found

摘要：日志记录 FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)java.lang.IllegalArgumentException: re 阅读全文

posted @ 2019-07-12 10:14 大数据从业者FelixZh 阅读(1868) 评论(0) 推荐(0)

2019年7月11日

redis cluster slots数量为何是16384（2的14次方）

摘要： Redis 集群并没有使用一致性hash，而是引入了哈希槽的概念。 Redis 集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。 Redis 集群并没有使用一致性hash，而是引入了哈希槽的概念。 Redis 集群有163 阅读全文

posted @ 2019-07-11 15:21 大数据从业者FelixZh 阅读(3332) 评论(0) 推荐(0)

redis监控工具汇总

摘要： redis-stat redis-stat是一个比较有名的redis指标可视化的监控工具，采用ruby开发，基于redis的info命令来统计，不影响redis性能。 docker运行 docker run --name redis-stat -p 8080:63790 -d insready/re 阅读全文

posted @ 2019-07-11 15:12 大数据从业者FelixZh 阅读(5210) 评论(0) 推荐(2)

Redis运维利器 -- RedisManager

摘要： Redis作为一个基于内存的可持久化的日志型、Key-Value数据库，以其出色的性能表现以及高可用性在许多公司有着举足轻重的地位。伴随着业务量的增长，redis集群的规模不可避免的需要扩大，此时redis集群的运维成本就成为一个不可忽视的工作内容。 RedisManager作为一个redis一站式阅读全文

posted @ 2019-07-11 15:01 大数据从业者FelixZh 阅读(2285) 评论(0) 推荐(1)

redis三种集群策略

摘要：主从复制主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库从数据库一般都是只读的，并且接收主数据库同步过来的数据一个master可以拥有多个slave，但是一个slave只能对应一个master 哨兵模式监控主从数据库是否正常运行 master出现故障时，自动将sl 阅读全文

posted @ 2019-07-11 14:55 大数据从业者FelixZh 阅读(1197) 评论(0) 推荐(0)

2019年7月4日

Deploy custom service on non hadoop node with Apache Ambari

摘要： 1 I want to deploy a custom service onto non hadoop nodes using Apache Ambari. I have created a custom service inside /var/lib/ambari-server/resources 阅读全文

posted @ 2019-07-04 20:13 大数据从业者FelixZh 阅读(382) 评论(0) 推荐(0)

IDEA远程调试Ambari Server

摘要： 1.配置端口 Ambari Server默认配置了服务端的debug参数，端口为5005。如果要修改端口，可以在/usr/sbin/ambari_server_main.py文件中对应地方修改，直接改5005端口即可。代码如下： ambari\ambari-server\src\main\pytho 阅读全文

posted @ 2019-07-04 15:30 大数据从业者FelixZh 阅读(804) 评论(0) 推荐(0)

Ambari调整日志级别：How to enable debug logging in Ambari Server and Ambari Agent ?

摘要： PURPOSE When troubleshooting Ambari issues, it may be necessary to enable debug logging in the Ambari Server log /var/log/ambari-server/. PROCEDURE To 阅读全文

posted @ 2019-07-04 15:21 大数据从业者FelixZh 阅读(1373) 评论(0) 推荐(0)

2019年6月26日

JAVA调用系统命令：python、shell等

摘要：实际项目开发场景中，可能会用到java项目调用系统命令的需求，如调用python或者shell脚本可以参考如下例子，例子来源于ambari源码： \ambari\ambari-server\src\main\java\org\apache\ambari\server\security\Certif 阅读全文

posted @ 2019-06-26 14:48 大数据从业者FelixZh 阅读(693) 评论(0) 推荐(0)

2019年6月18日

Kafka启用SASL_PLAINTEXT动态配置JAAS文件的几种方式

摘要： Kafka是广泛使用消息服务，很多情况下关于认证部分我都是默认的配置，也就是不需要用户名/密码，也不配置证书。在内网或者在项目组内部可以，但是设计的跨部门时一般处于安全考虑都需要加上认证，防止kafka被误用，产生大量垃圾信息，干扰了正常业务的运行。 Kafka提供的多种认证方式，比如SASL, 本阅读全文

posted @ 2019-06-18 17:04 大数据从业者FelixZh 阅读(2877) 评论(0) 推荐(0)

kafka使用SASL_PLAINTEXT做用户认证

摘要：使用SASL/PLAIN认证 server端1.配置brokerkafka_server_jaas.conf内容KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"p 阅读全文

posted @ 2019-06-18 16:15 大数据从业者FelixZh 阅读(3211) 评论(0) 推荐(0)

2019年6月1日

MyBatis返回结果类型为Boolean

摘要：问题描述：在使用MyBatis时，有时需要检查某个记录是否存在数据库中，然后根据其返回的布尔值true or false，来进行逻辑判断。那怎么做呢？解决方案: 如检测某个手机号是否被注册过： <select id="checkPhoneExist" parameterType="java.la 阅读全文

posted @ 2019-06-01 14:22 大数据从业者FelixZh 阅读(11168) 评论(0) 推荐(0)

IntelliJ Idea解决Could not autowire. No beans of 'xxxx' type found的错误提示

摘要： 1.问题描述在Idea的spring工程里，经常会遇到Could not autowire. No beans of 'xxxx' type found的错误提示。但程序的编译和运行都是没有问题的，这个错误提示并不会产生影响。但红色的错误提示在有些有强迫症的程序员眼里，多多少少有些不太舒服。 2. 阅读全文

posted @ 2019-06-01 09:27 大数据从业者FelixZh 阅读(33340) 评论(0) 推荐(3)

大数据从业者

最新文章，见微信公众号：大数据从业者

公告