摘要：
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea 阅读全文
posted @ 2020-05-25 13:47
咔啡
阅读(259)
评论(0)
推荐(0)
摘要：
增加线程 提高 batch.size 增加更多 producer 实例 增加 partition 数 设置 acks=-1 时，如果延迟增大：可以增大 num.replica.fetchers（follower 同步数据的线程数）来调解； 跨数据中心的传输：增加 socket 缓冲区设置以及 OS 阅读全文
posted @ 2020-05-24 18:08
咔啡
阅读(1569)
评论(0)
推荐(0)
摘要：
kafka在Broker端提供了一个配置参数：unclean.leader.election,这个参数有两个值：true（默认）：允许不同步副本成为leader，由于不同步副本的消息较为滞后，此时成为leader，可能会出现消息不一致的情况。false：不允许不同步副本成为leader，此时如果发生 阅读全文
posted @ 2020-05-24 17:57
咔啡
阅读(591)
评论(0)
推荐(0)
摘要：
同样是逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的worker，只有一个worker能拿到这个数据。换句话说，对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个w 阅读全文
posted @ 2020-05-24 08:17
咔啡
阅读(1088)
评论(0)
推荐(0)
摘要：
（1）服务间异步通信 （2）顺序消费 （3）定时任务 （4）请求削峰 阅读全文
posted @ 2020-05-23 14:35
咔啡
阅读(182)
评论(0)
推荐(0)
摘要：
（1）在分布式系统下具备异步,削峰,负载均衡等一系列高级功能; （2）拥有持久化的机制，进程消息，队列中的信息也可以保存下来。 （3）实现消费者和生产者之间的解耦。 （4）对于高并发场景下，利用消息队列可以使得同步访问变为串行访问达到一定量的限流，利于数据库的操作。 （5）可以使用消息队列达到异步下 阅读全文
posted @ 2020-05-22 20:51
咔啡
阅读(916)
评论(0)
推荐(0)
摘要：
消息持久化，当然前提是队列必须持久化 RabbitMQ 确保持久性消息能从服务器重启中恢复的方式是，将它们写入磁盘上的一个持久化日志文件，当发布一条持久性消息到持久交换器上时，Rabbit 会在消息提交到日志文件后才发送响应。一旦消费者从持久队列中消费了一条持久化消息，RabbitMQ 会在持久化日 阅读全文
posted @ 2020-05-22 17:22
咔啡
阅读(264)
评论(0)
推荐(0)
摘要：
由于 TCP 连接的创建和销毁开销较大，且并发数受系统资源限制，会造成性能瓶颈。RabbitMQ 使用信道的方式来传输数据。信道是建立在真实的 TCP 连接内的虚拟连接，且每条 TCP 连接上的信道数量没有限制。 阅读全文
posted @ 2020-05-22 14:47
咔啡
阅读(569)
评论(0)
推荐(0)
摘要：
发送方确认模式 将信道设置成 confirm 模式（发送方确认模式），则所有在信道上发布的消息都会被指派一个唯一的 ID。一旦消息被投递到目的队列后，或者消息被写入磁盘后（可持久化的消息），信道会发送一个确认给生产者（包含消息唯一 ID）。 如果 RabbitMQ 发生内部错误从而导致消息丢失，会发 阅读全文
posted @ 2020-05-21 21:31
咔啡
阅读(1439)
评论(0)
推荐(0)
摘要：
消息提供方->路由->一至多个队列消息发布到交换器时，消息将拥有一个路由键（routing key），在消息创建时设定。通过队列路由键，可以把队列绑定到交换器上。消息到达交换器后，RabbitMQ 会将消息的路由键与队列的路由键进行匹配（针对不同的交换器有不同的路由规则）； 常用的交换器主要分为一下 阅读全文
posted @ 2020-05-20 16:34
咔啡
阅读(535)
评论(0)
推荐(0)
摘要：
若该队列至少有一个消费者订阅，消息将以循环（round-robin）的方式发送给消费者。每条消息只会分发给一个订阅的消费者（前提是消费者能够正常处理消息并进行确认）。通过路由可实现多消费的功能 阅读全文
posted @ 2020-05-19 16:35
咔啡
阅读(579)
评论(0)
推荐(0)
摘要：
（1）系统可用性降低 系统引入的外部依赖越多，越容易挂掉，本来你就是 A 系统调用 BCD 三个系统的接口就好了，人 ABCD 四个系统好好的，没啥问题，你偏加个 MQ 进来，万一MQ 挂了咋整？MQ 挂了，整套系统崩溃了，你不就完了么。 （2）系统复杂性提高 硬生生加个 MQ 进来，你怎么保证消息 阅读全文
posted @ 2020-05-19 15:30
咔啡
阅读(458)
评论(0)
推荐(0)
摘要：
镜像集群模式 你创建的 queue，无论元数据还是 queue 里的消息都会存在于多个实例上，然后每次你写消息到 queue 的时候，都会自动把消息到多个实例的 queue 里进行消息同步。 好处在于，你任何一个机器宕机了，没事儿，别的机器都可以用。坏处在于，第一，这个性能开销也太大了吧，消息同步所 阅读全文
posted @ 2020-05-18 23:06
咔啡
阅读(137)
评论(0)
推荐(0)
摘要：
（1）服务间高度解耦 （2）异步通信性能高 （3）流量削峰 阅读全文
posted @ 2020-05-18 17:10
咔啡
阅读(1863)
评论(0)
推荐(0)
摘要：
在消息生产时，MQ 内部针对每条生产者发送的消息生成一个 inner-msg-id，作为去重的依据（消息投递失败并重传），避免重复的消息进入队列；在消息消费时，要求消息体中必须要有一个 bizId（对于同一业务全局唯一，如支付 ID、订单 ID、帖子 ID 等）作为去重的依据，避免同一条消息被重复消 阅读全文
posted @ 2020-05-18 17:09
咔啡
阅读(1444)
评论(0)
推荐(0)
摘要：
采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需要确保提供方存在,实现了服务之间的高度解耦 阅读全文
posted @ 2020-05-18 17:08
咔啡
阅读(210)
评论(0)
推荐(0)
摘要：
一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。 当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes 阅读全文
posted @ 2020-05-17 20:42
咔啡
阅读(2232)
评论(0)
推荐(0)
摘要：
1（默认） 数据发送到Kafka后，经过leader成功接收消息的的确认，就算是发送成功了。在这种情况下，如果leader宕机了，则会丢失数据。 0 生产者将数据发送出去就不管了，不去等待任何返回。这种情况下数据传输效率最高，但是数据可靠性确是最低的。 -1 producer需要等待ISR中的所有f 阅读全文
posted @ 2020-05-17 20:40
咔啡
阅读(1272)
评论(0)
推荐(0)
摘要：
Cache Filesystem Cache PageCache缓存 顺序写 由于现代的操作系统提供了预读和写技术，磁盘的顺序写大多数情况下比随机写内存还要快。 Zero-copy 零拷⻉技术减少拷贝次数 Batching of Messages 批量量处理。合并小的请求，然后以流的方式进行交互，直 阅读全文
posted @ 2020-05-17 20:39
咔啡
阅读(202)
评论(0)
推荐(0)
摘要：
缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。 解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要 阅读全文
posted @ 2020-05-17 20:38
咔啡
阅读(1740)
评论(0)
推荐(0)
摘要：
由于是批量发送，数据并非真正的实时； 对于mqtt协议不支持； 不支持物联网传感数据直接接入； 仅支持统一分区内消息有序，无法实现全局消息有序； 监控不完善，需要安装插件； 依赖zookeeper进行元数据管理； 阅读全文
posted @ 2020-05-17 20:36
咔啡
阅读(2069)
评论(0)
推荐(0)
摘要：
副本因子不能大于 Broker 的个数； 第一个分区（编号为0）的第一个副本放置位置是随机从 brokerList 选择的； 其他分区的第一个副本放置位置相对于第0个分区依次往后移。也就是如果我们有5个 Broker，5个分区，假设第一个分区放在第四个 Broker 上，那么第二个分区将会放在第五个 阅读全文
posted @ 2020-05-17 20:35
咔啡
阅读(666)
评论(0)
推荐(0)
摘要：
Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过index元数据全部映射到memory，可以避免segment file的IO磁盘操 阅读全文
posted @ 2020-05-17 20:33
咔啡
阅读(367)
评论(0)
推荐(0)
摘要：
数据传输的事务定义通常有以下三种级别： （1）最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输 （2）最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输. （3）精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被 阅读全文
posted @ 2020-05-17 20:32
咔啡
阅读(327)
评论(0)
推荐(0)
摘要：
可以参见我这篇文章：Kafka 是如何保证数据可靠性和一致性 阅读全文
posted @ 2020-05-17 20:31
咔啡
阅读(428)
评论(0)
推荐(0)
摘要：
分区对于 Kafka 集群的好处是：实现负载均衡。分区对于消费者来说，可以提高并发度，提高效率。 阅读全文
posted @ 2020-05-17 20:30
咔啡
阅读(2550)
评论(0)
推荐(0)
摘要：
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据 阅读全文
posted @ 2020-05-17 20:29
咔啡
阅读(1727)
评论(0)
推荐(0)
摘要：
虽然两者都是用来暂停当前运行的线程，但是 sleep() 实际上只是短暂停顿，因为它不会释放锁，而 wait() 意味着条件等待，这就是为什么该方法要释放锁，因为只有这样，其他等待的线程才能在满足条件时获取到该锁。 阅读全文
posted @ 2020-05-17 00:33
咔啡
阅读(412)
评论(0)
推荐(0)
摘要：
线程局部变量是局限于线程内部的变量，属于线程自身所有，不在多个线程间共享。Java 提供 ThreadLocal 类来支持线程局部变量，是一种实现线程安全的方式。但是在管理环境下（如 web 服务器）使用线程局部变量的时候要特别小心，在这种情况下，工作线程的生命周期比任何应用变量的生命周期都要长。任 阅读全文
posted @ 2020-05-17 00:32
咔啡
阅读(1661)
评论(0)
推荐(0)
摘要：
答：断言在软件开发中是一种常用的调试方式，很多开发语言中都支持这种机制。一般来说，断言用于保证程序最基本、关键的正确性。断言检查通常在开发和测试时开启。为了保证程序的执行效率，在软件发布后断言检查通常是关闭的。断言是一个包含布尔表达式的语句，在执行这个语句时假定该表达式为true；如果表达式的值为f 阅读全文
posted @ 2020-05-16 13:03
咔啡
阅读(584)
评论(0)
推荐(0)
摘要：
ribbon是一个负载均衡客户端，可以很好的控制htt和tcp的一些行为。feign默认集成了ribbon。 阅读全文
posted @ 2020-05-16 13:01
咔啡
阅读(820)
评论(0)
推荐(0)
摘要：
Spring Cloud Gateway是Spring Cloud官方推出的第二代网关框架，取代Zuul网关。网关作为流量的，在微服务系统中有着非常作用，网关常见的功能有路由转发、权限校验、限流控制等作用。 使用了一个RouteLocatorBuilder的bean去创建路由，除了创建路由Route 阅读全文
posted @ 2020-05-16 12:59
咔啡
阅读(141)
评论(0)
推荐(0)
摘要：
（1）集中管理配置文件不同环境不同配置，动态化的配置更新，分环境部署比如 dev/test/prod/beta/release （2）运行期间动态调整 置，不再需要在每个服务部署的机器上编写配置文件，服务会向配置中心统一拉取配置自己的信息 （3）当配置发生变动时，服务不需要重启即可感知到配置的变化并 阅读全文
posted @ 2020-05-16 12:58
咔啡
阅读(422)
评论(0)
推荐(0)
摘要：
（1）feign采用的是基于接口的注解 （2）feign整合了ribbon，具有负载均衡的能力 （3）整合了Hystrix，具有熔断的能力 使用: （1）添加pom依赖。 （2）启动类添加@EnableFeignClients （3）定义一个接口@FeignClient(name=“xxx”)指定调 阅读全文
posted @ 2020-05-16 12:57
咔啡
阅读(467)
评论(0)
推荐(0)
摘要：
（1）服务发布时，指定对应的服务名,将服务注册到 注册中心(eureka zookeeper) （2）注册中心加@EnableEurekaServer,服务用@EnableDiscoveryClient，然后用ribbon或feign进行服务直接的调用发现。 阅读全文
posted @ 2020-05-16 12:56
咔啡
阅读(168)
评论(0)
推荐(0)
摘要：
（1）服务调用方式 dubbo是RPC spri cloud Rest Api （2）注册中心,dubbo 是zookeep r springcloud是eureka，也可以是zookeeper （3）服务网关,dubbo本身没有实现，只能通过其他第三方技术整合，springcloud有Zuul路由 阅读全文
posted @ 2020-05-16 12:55
咔啡
阅读(1002)
评论(0)
推荐(0)
摘要：
由于某些原因，employee-consumer公开服务会引发异常。情况下使用Hystrix我们定义了回退方法。如果在公开服务中发生异常，则回退方法返回一些默认值 。 如果firstPage method() 中的异常继续发生，则Hystrix电路将中断，并且员工使用者将一起跳过firtsPage方法， 阅读全文
posted @ 2020-05-16 12:54
咔啡
阅读(379)
评论(0)
推荐(0)
摘要：
微服务架构是一种架构模式或者说是一种架构风格，它提倡将单一应用程序划分为一组小的服务，每个服务运行在其独立的自己的进程中，服务之间相互协调、互相配合，为用户提供最终价值。服务之间采用轻量级的通信机制互相沟通（通常是基于HTTP的RESTful API）,每个服务都围绕着具体的业务进行构建，并且能够被 阅读全文
posted @ 2020-05-16 12:53
咔啡
阅读(174)
评论(0)
推荐(0)
摘要：
由于某些原因，employee-consumer 公开服务会引发异常。在这种情况下使用Hystrix 我们定义了一个回退方法。如果在公开服务中发生异常，则回退方法返回一些默认值。 如果 firstPage method() 中的异常继续发生，则 Hystrix 电 ，并且员工使用者将一起跳过firtsP 阅读全文
posted @ 2020-05-16 12:52
咔啡
阅读(269)
评论(0)
推荐(0)
摘要：
Spring cloud 流应用程序启动器是 于 Spring Boot 的 Spring 集成应用程序，提供与外部系统的集成。Spring cloud Task，一个生命周期短暂的微服务框架，用于快速构建执行有限数据处理的应用程序。 阅读全文
posted @ 2020-05-16 12:51
咔啡
阅读(158)
评论(0)
推荐(0)
浙公网安备 33010602011771号