摘要：
最近发现一个Kafka producer异步发送在某些情况会阻塞主线程，后来在排查解决问题过程中发现这可以算是Kafka的一个说明不恰当的地方。 问题说明 在很多场景下我们会使用异步方式来发送Kafka的消息，会使用KafkaProducer中的以下方法： 根据文档的说明它是一个异步的发送方法，按道 阅读全文
posted @ 2019-11-13 14:58
大数据从业者FelixZh
阅读(2900)
评论(0)
推荐(0)
摘要：
序言： 每一个Java程序都可以为JVM增加一个关闭钩子。JVM将在关闭之前执行关闭钩子中的指令。 问题： 一个程序可能需要在退出前执行一些指令。程序可能由于下列原因而退出： 所有的线程已经执行完毕 调用System.exit() 用户输入Ctrl+C 系统级关闭或用户注销 所有的线程已经执行完毕 阅读全文
posted @ 2019-11-12 14:35
大数据从业者FelixZh
阅读(695)
评论(0)
推荐(0)
摘要：
有时候我们用到的程序不一定总是在JVM里面驻守,可能调用完就不用了,释放资源. RunTime.getRunTime().addShutdownHook的作用就是在JVM销毁前执行的一个线程.当然这个线程依然要自己写. 利用这个性质,如果我们之前定义了一系列的线程池供程序本身使用,那么就可以在这个最 阅读全文
posted @ 2019-11-12 14:24
大数据从业者FelixZh
阅读(808)
评论(0)
推荐(0)
摘要：
isShutDown当调用shutdown()或shutdownNow()方法后返回为true。 isTerminated当调用shutdown()方法后，并且所有提交的任务完成后返回为true;isTerminated当调用shutdownNow()方法后，成功停止后返回为true;如果线程池任务 阅读全文
posted @ 2019-11-12 11:33
大数据从业者FelixZh
阅读(3951)
评论(0)
推荐(0)
摘要：
根据需要创建新线程的对象。使用线程工厂就无需再手工编写对 new Thread 的调用了，从而允许应用程序使用特殊的线程子类、属性等等。 JDK中的介绍： An object that creates new threads on demand. Using thread factories rem 阅读全文
posted @ 2019-11-07 14:57
大数据从业者FelixZh
阅读(935)
评论(0)
推荐(0)
摘要：
官网引用 引用spring的官方文档中的一段描述： 在Spring2.0之前的版本中，@Repository注解可以标记在任何的类上，用来表明该类是用来执行与数据库相关的操作（即dao对象），并支持自动处理数据库操作产生的异常 在Spring2.5版本中，引入了更多的Spring类注解：@Compo 阅读全文
posted @ 2019-11-07 11:27
大数据从业者FelixZh
阅读(5090)
评论(0)
推荐(0)
摘要：
@ControllerAdvice，是Spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现： 没什么特别之处，该注解使用@Component注解，这样的话当我们使用<context:component-scan>扫描时也能扫描到。 阅读全文
posted @ 2019-11-07 10:36
大数据从业者FelixZh
阅读(738)
评论(0)
推荐(0)
摘要：
一、全局异常 1、首先创建异常处理包和类 2、使用@ControllerAdvice注解，全局捕获异常类，只要作用在@RequestMapping上，所有的异常都会被捕获 这上面有个需要注意的是要加上@ResponseBody注解，如果不加会怎么样呢，我们试下，报错： 因为是个json的格式，所以必 阅读全文
posted @ 2019-11-06 18:00
大数据从业者FelixZh
阅读(768)
评论(0)
推荐(0)
摘要：
@ControllerAdvice ，很多初学者可能都没有听说过这个注解，实际上，这是一个非常有用的注解，顾名思义，这是一个增强的 Controller。 使用这个 Controller ，可以实现三个方面的功能： 灵活使用这三个功能，可以帮助我们简化很多工作，需要注意的是，这是 SpringMVC 阅读全文
posted @ 2019-11-06 17:47
大数据从业者FelixZh
阅读(363)
评论(0)
推荐(0)
摘要：
@ApiOperation不是spring自带的注解是swagger里的 com.wordnik.swagger.annotations.ApiOperation; @ApiOperation和@ApiParam为添加的API相关注解，个参数说明如下： @ApiOperation(value = “ 阅读全文
posted @ 2019-11-06 15:22
大数据从业者FelixZh
阅读(22502)
评论(0)
推荐(1)
摘要：
@Resource和@Autowired都是做bean的注入时使用，其实@Resource并不是Spring的注解，它的包是javax.annotation.Resource，需要导入，但是Spring支持该注解的注入。 1、共同点 两者都可以写在字段和setter方法上。两者如果都写在字段上，那么 阅读全文
posted @ 2019-11-06 15:19
大数据从业者FelixZh
阅读(279)
评论(0)
推荐(0)
摘要：
后端层次划分： 后端分包： 不同层级之间数据传输：推荐第二种 POJO与JavaBean： POJO就是简单的私有属性，加get/set方法， JavaBean，就是会做一些逻辑处理，包括接收事件，和查找事件等 POJO的使用： 阅读全文
posted @ 2019-11-06 14:50
大数据从业者FelixZh
阅读(1490)
评论(0)
推荐(0)
摘要：
Log4j现在已经被大家熟知了，所有细节都可以在网上查到，Log4j支持Appender，其中DailyRollingFileAppender是被经常用到的Appender之一。在讨论今天的主题之前，我们先看下另外一个Appender。 最常用的Appender——RollingFileAppend 阅读全文
posted @ 2019-10-30 14:10
大数据从业者FelixZh
阅读(1216)
评论(0)
推荐(0)
摘要：
1.Lombok简介官方介绍 大概的意思：Lombok是一个Java库，能自动插入编辑器并构建工具，简化Java开发。通过添加注解的方式，不需要为类编写getter或eques方法，同时可以自动化日志变量。 简而言之：Lombok能以简单的注解形式来简化java代码，提高开发人员的开发效率。 2.L 阅读全文
posted @ 2019-10-28 20:30
大数据从业者FelixZh
阅读(2574)
评论(0)
推荐(0)
摘要：
https://spring.io/projects/spring-boot/ 在以上地址找到 Spring Initializer是一个网络应用程序，它可以生成一个Spring Boot项目，包含快速启动所需的一切。和往常一样，我们需要一个好的项目框架；它有助于你正确创建项目结构/框架。 Quic 阅读全文
posted @ 2019-10-28 19:24
大数据从业者FelixZh
阅读(189)
评论(0)
推荐(0)
摘要：
Jedis api 在线网址：http://tool.oschina.net/uploads/apidocs/redis/clients/jedis/Jedis.html redisson 官网地址：https://redisson.org/ redisson git项目地址：https://git 阅读全文
posted @ 2019-10-28 14:06
大数据从业者FelixZh
阅读(1781)
评论(0)
推荐(0)
摘要：
https://www.jianshu.com/p/2779e73abcb8 看完本文，你能get到以下知识 Flink 流处理为什么需要网络流控？ Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理，Credit是如何解决 F 阅读全文
posted @ 2019-10-08 14:00
大数据从业者FelixZh
阅读(4678)
评论(1)
推荐(2)
摘要：
一、问题描述：Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。查看kafka topic状态，发现broker Leader出现-1的情况，如下图 二、问题分析Kafka Brok 阅读全文
posted @ 2019-09-30 14:21
大数据从业者FelixZh
阅读(1849)
评论(0)
推荐(0)
摘要：
问题：情况一：创建topic成功，但是produce的时候，却报unknown partition的错误，但zk上却显示了每个partition的leader信息；情况二： 给某个topic增加分区，zk显示已有增加的分区信息，但是依旧报找不到新增加的分区信息错误原因：多个controller，导致 阅读全文
posted @ 2019-09-30 10:48
大数据从业者FelixZh
阅读(2547)
评论(0)
推荐(0)
摘要：
1. 官网资料 Use JDBC to get a connection to an HBase cluster like this: Connection conn = DriverManager.getConnection("jdbc:phoenix:server1,server2:3333", 阅读全文
posted @ 2019-09-25 19:34
大数据从业者FelixZh
阅读(2115)
评论(0)
推荐(0)
摘要：
程序代码实例如下： package com.hbasedemo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyVa... 阅读全文
posted @ 2019-09-25 19:29
大数据从业者FelixZh
阅读(4901)
评论(0)
推荐(0)
摘要：
How to use DBVisualizer to connect to Hbase using Apache Phoenix Article DB Visualizer is a popular free tool that allows developers to organize devel 阅读全文
posted @ 2019-09-25 19:25
大数据从业者FelixZh
阅读(306)
评论(0)
推荐(0)
摘要：
Feb 01, 2017; 5:21pm Unable to connect to HBase using Phoenix JDBC Driver 9 posts Hi All, I am trying to connect to HBase using Phoenix JDBC Driver an 阅读全文
posted @ 2019-09-25 19:23
大数据从业者FelixZh
阅读(1566)
评论(0)
推荐(0)
摘要：
Phoenix连接安全模式下的HBase集群 HBase集群开启安全模式(即启用kerberos认证)之后，用户无论是用HBase shell还是Phoenix去连接HBase都先需要通过kerberos认证。如果没有通过kerberos认证，则hbase shell或phoenix都会报找不到ke 阅读全文
posted @ 2019-09-20 17:56
大数据从业者FelixZh
阅读(1426)
评论(0)
推荐(0)
摘要：
Check out my last article, Kafka Internals: Topics and Partitions to learn about Kafka storage internals. In Kafka, each topic is divided into set of 阅读全文
posted @ 2019-09-16 17:00
大数据从业者FelixZh
阅读(493)
评论(0)
推荐(0)
摘要：
在 Java9 中，G1 GC 将成为默认的垃圾收集器，G1 垃圾收集器的关键特性之一是能够在不牺牲吞吐量的同时，限制 GC 暂停时间(即可以设置所需的最大停顿时间)。 由于 G1 GC 正在逐渐成为默认的垃圾收集器，它的使用与关注度也会逐渐增加。因此在调整 JVM 大小和排查问题的情况下，必须先理 阅读全文
posted @ 2019-09-16 11:11
大数据从业者FelixZh
阅读(4955)
评论(0)
推荐(0)
摘要：
Authentication using SASL/Kerberos 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "kta 阅读全文
posted @ 2019-09-16 10:53
大数据从业者FelixZh
阅读(809)
评论(0)
推荐(0)
摘要：
CDK 2.0 and higher Powered By Apache Kafka supports Kerberos authentication, but it is supported only for the new Kafka Producer and Consumer APIs. If 阅读全文
posted @ 2019-09-11 20:01
大数据从业者FelixZh
阅读(521)
评论(0)
推荐(0)
摘要：
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。 图1. MirrorMaker 对于迁移的topic而言，topic名字一样， partiti 阅读全文
posted @ 2019-09-11 19:32
大数据从业者FelixZh
阅读(1351)
评论(0)
推荐(0)
摘要：
序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirr 阅读全文
posted @ 2019-09-11 19:24
大数据从业者FelixZh
阅读(3960)
评论(0)
推荐(0)
浙公网安备 33010602011771号