sw_kong

摘要： 一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。 Consistency 一致性是指 “all nodes see the same data at the same time.” 阅读全文

摘要： 为什么需要分布式事物 比如某一系统中，有两个独立的微服务，一个是订单服务，一个是库存服务。这俩服务各自都有一个自己的数据库。 那么一个用户在下单时候怎么保证在订单库里有一条订单数据，同时，库存数据库的数据也能相应的减少，让两边数据维持着一致性，不能出现订单创建完成，而库存没有对应减少的情况，这就需要 阅读全文

摘要： 在通常的业务开发中，ThreadLocal 有两种典型的使用场景 场景1： ThreadLocal 用作保存每个线程独享的对象，为每个线程都创建一个副本，这样每个线程都可以修改自己所拥有的副本, 而不会影响其他线程的副本，确保了线程安全。 场景2： ThreadLocal 用作每个线程内需要独立保存 阅读全文

摘要： Elasticsearch官网有这么一句话，不建议elasticsearch堆大小超过32G(准确的说是31.998G)，为什么呢？ 为什么不建议超过32GB？ 当JVM堆少于32G时，HotSpot JVM会启用一个压缩对象指针。而如果超过32G，这个压缩对象指针就会失效 在java中，绝大部分对 阅读全文

摘要： 数据可靠性 Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。 Topic 分区副本 在 Kafka 0.8.0 之前，Kafka 是没有副本的概念的，那时候 阅读全文

摘要： 业务场景：对每个基站覆盖的栅格S下随机抽取N个栅格，S为很大的数据集且未知具体数量 在高德纳的计算机程序设计艺术中，有如下问题：可否在一未知大小的集合中，随机取出一元素？。或者是Google面试题： I have a linked list of numbers of length N. N is 阅读全文

摘要： 背景介绍 本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说 阅读全文

摘要： 代码示例： package cn.com.kong.streaming; import kafka.utils.ZkUtils; import org.I0Itec.zkclient.ZkClient; import org.I0Itec.zkclient.ZkConnection; import 阅读全文

摘要： 在Spark Streaming程序中，我们经常需要使用有状态的流来统计一些累积性的指标，比如各个商品的PV。简单的代码描述如下，使用mapWithState()算子： val productPvStream = stream.mapPartitions(records => { var resul 阅读全文

摘要： 场景描述 如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。那么我就需要一个东西保存历史状态State。 首先区分一下两个概念，state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Job，在一个特定时刻的一份全局状态 阅读全文