摘要：
1.概述 客户端应用程序在运行过程中可能会产生错误，例如调用服务端接口超时、客户端处理业务逻辑发生异常、应用程序突然闪退等。这些异常信息都是会产生日志记录的，并通过上报到指定的日志服务器进行压缩存储。 本篇博客以一个应用实时日志分析平台作为案例来讲述ELK（ElasticSearch、LogStas 阅读全文
摘要：
1.概述 最近，有同学留言关于SQL解析器方面的问题，今天笔者就为大家分享一下SQL解析器方便的一些内容。 2.内容 2.1 SQL解析器是什么？ SQL解析与优化是属于编辑器方面的知识，与C语言这类编程语言的解析上是类似的。SQL解析主要包含：词法分析、语义语法分析、优化和执行代码生成、例如，我们 阅读全文
摘要：
1.概述 最近有同学留言，Kafka Eagle的分布式模式功能怎么使用，如何部署安装？今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先，这里我们需要说明一下，Kafka Eagle已经更名为EFAK（Eagle For Apache Kafka）。 阅读全文
摘要：
1.概述 最近，有同学留言咨询Kafka连接器的相关内容，今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容。 2.内容 Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展、数据传输的工具。通过Kafka连接器能够简单、快速的将大量数据集移入到Kafka系统，或者从Kafk 阅读全文
摘要：
1.概述 最近有被留言关于ClickHouse的使用问题，今天笔者将为大家分享一下ClickHouse的安装细节和使用方法。 2.内容 首先安装环境如下所示： Linux：CentOS7 ClickHouse：21.8.10.19 2.1 ClickHouse是什么？ ClickHouse是一个真正 阅读全文
摘要：
1.概述 Kafka是一个分布表示实时数据流平台，可独立部署在单台服务器上，也可部署在多台服务器上构成集群。它提供了发布与订阅的功能，用户可以发送数据到Kafka集群中，也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时，Kafka社区提出了KRaft协议的概念，现在社区发布了Ka 阅读全文
摘要：
1.概述 随着微服务和分布式计算的出现，Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中，笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性，尤其是对于细微的行为，通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文
摘要：
1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点： 无穷数据：持续产生的数据，它们通常会被称为流数据。例如：银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等； 低延时：流数据通常都是实时处理，数据实时产生，然后流处理引擎实时处理流数据，因此延时很短。 2 阅读全文
摘要：
1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、 阅读全文
摘要：
1.概述 前面一篇博客给大家介绍了多元线性回归的一些概念和对应的方程式的代码实现。今天笔者再为大家介绍线性回归的实战演练。比如，通过空气湿度、气压、风速等来预测当天的温度。 2.内容 线性回归是对标量因变量和一个或者多个自变量之前的线性关系的建模的最简单，且非常强大的方法。线性回归方程公式如下： 接 阅读全文