摘要：
1.概述 最近有被留言关于ClickHouse的使用问题，今天笔者将为大家分享一下ClickHouse的安装细节和使用方法。 2.内容 首先安装环境如下所示： Linux：CentOS7 ClickHouse：21.8.10.19 2.1 ClickHouse是什么？ ClickHouse是一个真正 阅读全文
摘要：
1.概述 Kafka是一个分布表示实时数据流平台，可独立部署在单台服务器上，也可部署在多台服务器上构成集群。它提供了发布与订阅的功能，用户可以发送数据到Kafka集群中，也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时，Kafka社区提出了KRaft协议的概念，现在社区发布了Ka 阅读全文
摘要：
1.概述 随着微服务和分布式计算的出现，Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中，笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性，尤其是对于细微的行为，通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文
摘要：
1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点： 无穷数据：持续产生的数据，它们通常会被称为流数据。例如：银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等； 低延时：流数据通常都是实时处理，数据实时产生，然后流处理引擎实时处理流数据，因此延时很短。 2 阅读全文
摘要：
1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、 阅读全文
摘要：
1.概述 前面一篇博客给大家介绍了多元线性回归的一些概念和对应的方程式的代码实现。今天笔者再为大家介绍线性回归的实战演练。比如，通过空气湿度、气压、风速等来预测当天的温度。 2.内容 线性回归是对标量因变量和一个或者多个自变量之前的线性关系的建模的最简单，且非常强大的方法。线性回归方程公式如下： 接 阅读全文
摘要：
1.概述 最近Kafka官网发布了2.8版本，在该版本中引入了KRaft模式。鉴于新版本和新特性的引入，相关使用资料较少，那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。 2.内容 2.1 版本介绍 2.1.1 目的 从Kafka2.8版本开始，可以不用Apache Zookeeper来作 阅读全文
摘要：
1.概述 在机器学习里面，常见的预测算法有以下几种： 简易平均法：包括几何平均法、算数平均法及加权平均法； 移动平均法：包括简单移动平均法和加权移动平均法； 指数平滑法：包括一次指数平滑法和二次指数平滑法，以及三次指数平滑法； 线性回归法：包括一元线性回归和二元线性回归。 本篇博客，笔者将为大家主要 阅读全文
摘要：
1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 阅读全文
摘要：
1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化了Fetch问题 阅读全文