哥不是小萝莉

摘要： 1.概述 随着微服务和分布式计算的出现，Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中，笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性，尤其是对于细微的行为，通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文

摘要： 1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点： 无穷数据：持续产生的数据，它们通常会被称为流数据。例如：银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等； 低延时：流数据通常都是实时处理，数据实时产生，然后流处理引擎实时处理流数据，因此延时很短。 2 阅读全文

摘要： 1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、 阅读全文

摘要： 1.概述 前面一篇博客给大家介绍了多元线性回归的一些概念和对应的方程式的代码实现。今天笔者再为大家介绍线性回归的实战演练。比如，通过空气湿度、气压、风速等来预测当天的温度。 2.内容 线性回归是对标量因变量和一个或者多个自变量之前的线性关系的建模的最简单，且非常强大的方法。线性回归方程公式如下： 接 阅读全文

摘要： 1.概述 最近Kafka官网发布了2.8版本，在该版本中引入了KRaft模式。鉴于新版本和新特性的引入，相关使用资料较少，那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。 2.内容 2.1 版本介绍 2.1.1 目的 从Kafka2.8版本开始，可以不用Apache Zookeeper来作 阅读全文

摘要： 1.概述 在机器学习里面，常见的预测算法有以下几种： 简易平均法：包括几何平均法、算数平均法及加权平均法； 移动平均法：包括简单移动平均法和加权移动平均法； 指数平滑法：包括一次指数平滑法和二次指数平滑法，以及三次指数平滑法； 线性回归法：包括一元线性回归和二元线性回归。 本篇博客，笔者将为大家主要 阅读全文

摘要： 1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 阅读全文

摘要： 1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化了Fetch问题 阅读全文

摘要： 1.概述 最近有同学留言咨询Kafka数据落地到Hive的一些问题，今天笔者将为大家来介绍一种除Flink流批一体以外的方式（流批一体下次再单独写一篇给大家分享）。 2.内容 首先，我们简单来描述一下数据场景，比如有这样一个数据场景，有一批实时流数据实时写入Kafka，然后需要对Topic中的数据进 阅读全文

摘要： 1.概述 Kafka是一个分布式消息中间件系统，里面存储着实际场景中的数据。Kafka原生是不支持点查询的，如果我们想对存储在Topic中的数据进行查询，可能需要对Topic中的数据进行消费落地，然后构建索引（或者数据落地到自带所以的存储系统中，例如HBase、Hive等）。今天，笔者就为大家来介绍 阅读全文