大数据从业者FelixZh

2020年4月27日

Introducing Kafka Cruise Control Frontend

摘要： At LinkedIn, Kafka is the de-facto messaging platform that powers diverse sets of geographically-distributed applications at scale. Examples include o 阅读全文

posted @ 2020-04-27 15:52 大数据从业者FelixZh 阅读(451) 评论(0) 推荐(0)

Open Sourcing Kafka Cruise Control Automating Kafka’s Operation at Scale

摘要： Apache Kafka's popularity has grown tremendously over the past few years. In fact, LinkedIn's deployment recently surpassed 2 trillion messages per da 阅读全文

posted @ 2020-04-27 15:50 大数据从业者FelixZh 阅读(305) 评论(0) 推荐(0)

ubuntu安装mysql dpkg: error processing package samba-common-bin (--configure)

摘要： ubuntu安装mysql，还是比较简单方便的，两条命令搞定 sudo apt-get install mysql-server sudo apt-get install mysql-client mysql -u root -p 注意：如果遇到如标题所示的dpkg依赖错误，可以通过以下方式解决 1 阅读全文

posted @ 2020-04-27 15:14 大数据从业者FelixZh 阅读(1007) 评论(0) 推荐(0)

2020年4月26日

RocketMQ事务消息学习及刨坑过程

摘要：一、背景 MQ组件是系统架构里必不可少的一门利器，设计层面可以降低系统耦合度，高并发场景又可以起到削峰填谷的作用，从单体应用到集群部署方案，再到现在的微服务架构，MQ凭借其优秀的性能和高可靠性，得到了广泛的认可。随着数据量增多，系统压力变大，开始出现这种现象：数据库已经更新了，但消息没发出来，或者消阅读全文

posted @ 2020-04-26 14:15 大数据从业者FelixZh 阅读(817) 评论(0) 推荐(0)

Kafka 事务特性分析

摘要：特性背景消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。支持事务消息有什么作用？消息事务是实现分布式事务的一种方案，可以确保分布式场景下的数据最终一致性。例如最常用的转账场景，小王转账到小明，实阅读全文

posted @ 2020-04-26 13:51 大数据从业者FelixZh 阅读(690) 评论(0) 推荐(0)

Kafka事务特性详解

摘要： 1. Kafka事务的使用 Kafka中的事务特性主要用于以下两种场景：生产者发送多条消息可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么都发送失败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个阅读全文

posted @ 2020-04-26 10:44 大数据从业者FelixZh 阅读(2636) 评论(0) 推荐(0)

2020年4月24日

spring-boot-configuration-processor用法举例

摘要： spring默认使用yml中的配置，但有时候要用传统的xml或properties配置，就需要使用spring-boot-configuration-processor了引入pom依赖 <dependency> <groupId>org.springframework.boot</groupId> 阅读全文

posted @ 2020-04-24 16:57 大数据从业者FelixZh 阅读(3283) 评论(0) 推荐(1)

2020年4月22日

Spring Boot 对多线程支持-提高程序执行效率

摘要： 1.楔子在我们的系统中，经常会处理一些耗时任务，自然而然的会想到使用多线程，JDK给我们提供了非常方便的操作线程的API,为什么还要使用Spring来实现多线程呢？ 1.使用Spring比使用JDK原生的并发API更简单。（一个注解@Async就搞定） 2.我们的应用环境一般都会集成Spring，我阅读全文

posted @ 2020-04-22 17:10 大数据从业者FelixZh 阅读(5633) 评论(0) 推荐(0)

springboot处理并发接口,简单实用

摘要： public int updateTsakSuatusByTaskIdAuthorId(Integer authorId, Integer taskCode, Integer status) { TaskInfoDetailVo taskDetail = null; TaskAuthorVo tas 阅读全文

posted @ 2020-04-22 16:44 大数据从业者FelixZh 阅读(4775) 评论(0) 推荐(0)

2020年4月21日

JMeter接口Java开发五步曲

摘要：想做jmeter接口二次开发但不知道如何入手，要解决这个问题，我们可以分为5个步骤第一步：了解jmeter处理java请求的流程第二步：通过实现jmeter中的接口JavaSamplerClient编写自定义JAVA接口第三步：打包第四步：将jar包放在jmeter 的第三方库目录第五步：阅读全文

posted @ 2020-04-21 19:19 大数据从业者FelixZh 阅读(884) 评论(0) 推荐(0)

如何使用JMeter测试Kafka：Apache Kafka - How to Load Test with JMeter

摘要： In this article, we are going to look at how to load test Apache Kafka, a distributed streaming platform, by using Apache JMeter™. First of all, let u 阅读全文

posted @ 2020-04-21 10:15 大数据从业者FelixZh 阅读(1051) 评论(0) 推荐(0)

2020年4月20日

Transactions in Apache Kafka

摘要： In a previous blog post, we introduced exactly once semantics for Apache Kafka®. That post covered the various message delivery semantics, introduced 阅读全文

posted @ 2020-04-20 18:35 大数据从业者FelixZh 阅读(279) 评论(0) 推荐(0)

UUID生成随机数工具类

摘要： import java.util.UUID; public class RanNum { /** * 生成随机数<br> * GUID：即Globally Unique Identifier（全球唯一标识符）也称作 UUID(Universally Unique * IDentifier) 。阅读全文

posted @ 2020-04-20 17:09 大数据从业者FelixZh 阅读(525) 评论(0) 推荐(0)

2020年4月2日

运行scala工程jar包

摘要： scala -classpath demo.jar com.felixzh.demo 阅读全文

posted @ 2020-04-02 19:58 大数据从业者FelixZh 阅读(648) 评论(0) 推荐(0)

windows系统如何查看端口被占用、杀进程

摘要：进入windows命令窗口之后，输入命令，输入netstat -ano然后回车，就可以看到系统当前所有的端口使用情况。通过命令查找某一特定端口，在命令窗口中输入命令中输入netstat -ano |findstr "端口号"，然后回车就可以看到这个端口被哪个应用占用。查看到对应的进程id之后，就阅读全文

posted @ 2020-04-02 19:53 大数据从业者FelixZh 阅读(625) 评论(0) 推荐(0)

2020年3月31日

RocketMQ中Topic、Tag、GroupName的设计初衷

摘要：本文主要介绍RocketMQ中Topic、Tag、GroupName的概念、设计初衷以及使用方法。一.Topic 首先看看官方的定义： Topic是生产者在发送消息和消费者在拉取消息的类别。Topic与生产者和消费者之间的关系非常松散。具体来说，一个Topic可能有0个，一个或多个生产者向它发送阅读全文

posted @ 2020-03-31 08:50 大数据从业者FelixZh 阅读(5500) 评论(0) 推荐(0)

KAFKA value foreach is not a member of org.apache.kafka.clients.consumer.ConsumerRecords

摘要：在代码中加入如下内容(Scala支持与Java的隐式转换), import scala.collection.JavaConversions._ 阅读全文

posted @ 2020-03-31 08:45 大数据从业者FelixZh 阅读(424) 评论(0) 推荐(0)

2020年3月28日

Java 读写Properties配置文件

摘要： 1.Properties类与Properties配置文件 Properties类继承自Hashtable类并且实现了Map接口，也是使用一种键值对的形式来保存属性集。不过Properties有特殊的地方，就是它的键和值都是字符串类型。 2.Properties中的主要方法 (1)load(Input 阅读全文

posted @ 2020-03-28 13:54 大数据从业者FelixZh 阅读(571) 评论(0) 推荐(0)

logback同时输出到控制台和文件--配置开箱即用

摘要：之前的文档已经介绍slf4j的用法和为什么使用logback替换Log4j。 https://www.cnblogs.com/felixzh/p/12335725.html https://www.cnblogs.com/felixzh/p/12520233.html 今天提供个开箱即用的，最简单的阅读全文

posted @ 2020-03-28 09:19 大数据从业者FelixZh 阅读(1154) 评论(0) 推荐(0)

2020年3月25日

Correct the classpath of your application so that it contains a single, compatible version of…

摘要： Description: An attempt was made to call a method that does not exist. The attempt was made from the following location: org.springframework.cloud.cli 阅读全文

posted @ 2020-03-25 19:12 大数据从业者FelixZh 阅读(40759) 评论(0) 推荐(1)

2020年3月23日

Spring Boot 2.2.x Junit4 升级为Junit5 后的变化、对比找不到 org.junit.jupiter.api.Test

摘要：遇到的问题：使用 maven 创建了一个 parent 项目 A，其 pom.xml 继承 parent 为 spring-boot-starter-parent 2.1.10。然后创建 module 项目 B，使用 spring initializr 构建项目，用的是 IDEA，当时没有选 Sp 阅读全文

posted @ 2020-03-23 20:11 大数据从业者FelixZh 阅读(4966) 评论(0) 推荐(2)

application context not configured for this file于spring框架使用中的原因

摘要： spring配置文件中时常会出现这个提示，翻译过来大概意思就是没有配置该文件到项目中于是进入到Project Structure中查看可以很明显的看到下面有个感叹号，大概意思是下面的文件没有匹配知道原因就很好解决问题了，只需要加到项目中去就可以了问题解决 https://blog.csdn. 阅读全文

posted @ 2020-03-23 20:03 大数据从业者FelixZh 阅读(5147) 评论(0) 推荐(0)

Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean

摘要：在Spring Boot项目中，出现这个错误有两种情况：一，在main方法所在的类忘记添加@SpringBootApplication 二，缺少依赖，添加即可 <dependency> <groupId>org.springframework.boot</groupId> <artifactId> 阅读全文

posted @ 2020-03-23 19:56 大数据从业者FelixZh 阅读(1657) 评论(0) 推荐(0)

2020年3月18日

Java日志框架logback剖析

摘要： Logback和log4j非常相似，优点如下： 1、更快的实现 Logback的内核重写，在一些关键执行路径上性能提升10倍以上。同时，初始化内存加载也更小。 2、非常充分的测试 Logback经过数年的测试，这是简单重要的原因选择logback而不是log4j。 3、Logback-classic 阅读全文

posted @ 2020-03-18 21:08 大数据从业者FelixZh 阅读(572) 评论(0) 推荐(0)

2020年3月17日

kafka-eagle删除topic需要token？keadmin

摘要：从github上的源工程，可以找到答案 https://github.com/smartloli/kafka-eagle/blob/master/kafka-eagle-web/src/main/resources/conf/system-config.properties 当然，你可以自定义改成任阅读全文

posted @ 2020-03-17 12:04 大数据从业者FelixZh 阅读(1241) 评论(0) 推荐(1)

2020年3月13日

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder"

摘要：官方的解决办法描述： This error is reported when the org.slf4j.impl.StaticLoggerBinder class could not be loaded into memory. This happens when no appropriate S 阅读全文

posted @ 2020-03-13 17:14 大数据从业者FelixZh 阅读(1996) 评论(0) 推荐(0)

2020年3月3日

A look inside Kafka Mirrormaker 2

摘要： In our previous blog on A Case for Mirromaker 2, we had discussed how enterprises rely on Apache Kafka as an essential component of their data pipelin 阅读全文

posted @ 2020-03-03 10:15 大数据从业者FelixZh 阅读(888) 评论(0) 推荐(0)

2020年3月2日

kafka producer batch expired TimeoutException： KAFKA-5621、KIP-91(Provide Intuitive User Timeouts in The Producer)、KAFKA-5886

摘要： Today, when a batch is expired in the accumulator, a TimeoutException is raised to the user. It might be better the producer to retry the expired batc 阅读全文

posted @ 2020-03-02 16:10 大数据从业者FelixZh 阅读(914) 评论(0) 推荐(0)

Kafka Producer NetworkException and Timeout Exceptions

摘要： We are getting random NetworkExceptions and TimeoutExceptions in our production environment: Brokers: 3 Zookeepers: 3 Servers: 3 Kafka: 0.10.0.1 Zooke 阅读全文

posted @ 2020-03-02 12:16 大数据从业者FelixZh 阅读(1456) 评论(0) 推荐(0)

2020年2月27日

How LinkedIn customizes Apache Kafka for 7 trillion messages per day

摘要： Co-authors: Jon Lee and Wesley Wu Apache Kafka is a core part of our infrastructure at LinkedIn. It was originally developed in-house as a stream proc 阅读全文

posted @ 2020-02-27 11:24 大数据从业者FelixZh 阅读(355) 评论(0) 推荐(0)

大数据从业者

最新文章，见微信公众号：大数据从业者

公告