摘要: 1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率。下面,我们就来看看3 阅读全文
posted @ 2022-09-25 21:22 哥不是小萝莉 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 1.概述 本篇博客将对MySQL、InfluxDB、Clickhouse在写入时间、聚合查询时间、磁盘使用等方面的性能指标来进行比较。 2.内容 比较的数据集,是使用的Clickhouse官网提供的6600万的数据集来进行测试比较的,当MySQL、InfluxDB、Clickhouse也分配4CPU 阅读全文
posted @ 2022-08-28 15:19 哥不是小萝莉 阅读(300) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Kafka系统的灵活多变,让它拥有丰富的拓展性,可以与第三方套件很方便的对接。例如,实时计算引擎Spark。接下来通过一个完整案例,运用Kafka和Spark来合理完成。 2.内容 2.1 初始Spark 在大数据应用场景中,面对实时计算、处理流数据、降低计算耗时等问题时,Apache S 阅读全文
posted @ 2022-07-31 17:14 哥不是小萝莉 阅读(725) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 2.内容 目前,K 阅读全文
posted @ 2022-06-30 23:50 哥不是小萝莉 阅读(1009) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。今天,笔者就为大家介绍如何使用Clickhouse来构建实时数仓,来满足一些实时性要求较高的使用场景。 2.内容 2.1 什么是OLAP场景 在介绍Click 阅读全文
posted @ 2022-05-29 21:57 哥不是小萝莉 阅读(1196) 评论(0) 推荐(0) 编辑
摘要: 1.概述 对于Kafka的学习,在研究其系统模块时,有些核心组件是指的我们去了解。今天给大家来剖析一下Kafka的一些核心组件,让大家能够更好的理解Kafka的运作流程。 2.内容 Kafka系统设计的非常优秀,它的核心组件由生产者、消费者、主题、代理节点、以及Zookeeper组成。这些核心组件彼 阅读全文
posted @ 2022-04-30 22:15 哥不是小萝莉 阅读(618) 评论(2) 推荐(1) 编辑
摘要: 1.概述 Apache Ranger提供了一个集中式的安全管理框架,用户可以通过操作Ranger Admin页面来配置各种策略,从而实现对Hadoop生成组件,比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客,笔者将为大家介绍如何Apache Ranger 阅读全文
posted @ 2022-03-27 14:04 哥不是小萝莉 阅读(1035) 评论(0) 推荐(1) 编辑
摘要: 1.概述 客户端应用程序在运行过程中可能会产生错误,例如调用服务端接口超时、客户端处理业务逻辑发生异常、应用程序突然闪退等。这些异常信息都是会产生日志记录的,并通过上报到指定的日志服务器进行压缩存储。 本篇博客以一个应用实时日志分析平台作为案例来讲述ELK(ElasticSearch、LogStas 阅读全文
posted @ 2022-02-28 12:27 哥不是小萝莉 阅读(1963) 评论(1) 推荐(1) 编辑
摘要: 1.概述 最近,有同学留言关于SQL解析器方面的问题,今天笔者就为大家分享一下SQL解析器方便的一些内容。 2.内容 2.1 SQL解析器是什么? SQL解析与优化是属于编辑器方面的知识,与C语言这类编程语言的解析上是类似的。SQL解析主要包含:词法分析、语义语法分析、优化和执行代码生成、例如,我们 阅读全文
posted @ 2022-01-31 15:46 哥不是小萝莉 阅读(2570) 评论(0) 推荐(4) 编辑
摘要: 1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先,这里我们需要说明一下,Kafka Eagle已经更名为EFAK(Eagle For Apache Kafka)。 阅读全文
posted @ 2021-12-26 13:43 哥不是小萝莉 阅读(1555) 评论(1) 推荐(0) 编辑
摘要: 1.概述 最近,有同学留言咨询Kafka连接器的相关内容,今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容。 2.内容 Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展、数据传输的工具。通过Kafka连接器能够简单、快速的将大量数据集移入到Kafka系统,或者从Kafk 阅读全文
posted @ 2021-11-28 20:24 哥不是小萝莉 阅读(2678) 评论(0) 推荐(0) 编辑
摘要: 1.概述 最近有被留言关于ClickHouse的使用问题,今天笔者将为大家分享一下ClickHouse的安装细节和使用方法。 2.内容 首先安装环境如下所示: Linux:CentOS7 ClickHouse:21.8.10.19 2.1 ClickHouse是什么? ClickHouse是一个真正 阅读全文
posted @ 2021-10-31 21:43 哥不是小萝莉 阅读(1678) 评论(1) 推荐(0) 编辑
摘要: 1.概述 Kafka是一个分布表示实时数据流平台,可独立部署在单台服务器上,也可部署在多台服务器上构成集群。它提供了发布与订阅的功能,用户可以发送数据到Kafka集群中,也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时,Kafka社区提出了KRaft协议的概念,现在社区发布了Ka 阅读全文
posted @ 2021-09-25 15:51 哥不是小萝莉 阅读(4161) 评论(1) 推荐(2) 编辑
摘要: 1.概述 随着微服务和分布式计算的出现,Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中,笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性,尤其是对于细微的行为,通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文
posted @ 2021-08-31 01:17 哥不是小萝莉 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点: 无穷数据:持续产生的数据,它们通常会被称为流数据。例如:银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等; 低延时:流数据通常都是实时处理,数据实时产生,然后流处理引擎实时处理流数据,因此延时很短。 2 阅读全文
posted @ 2021-07-31 23:49 哥不是小萝莉 阅读(1407) 评论(0) 推荐(0) 编辑
摘要: 1.概述 离线数据处理生态系统包含许多关键任务,最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略,以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述,即读取输入数据、使用Spark处理、 阅读全文
posted @ 2021-06-27 17:18 哥不是小萝莉 阅读(1021) 评论(0) 推荐(0) 编辑
摘要: 1.概述 前面一篇博客给大家介绍了多元线性回归的一些概念和对应的方程式的代码实现。今天笔者再为大家介绍线性回归的实战演练。比如,通过空气湿度、气压、风速等来预测当天的温度。 2.内容 线性回归是对标量因变量和一个或者多个自变量之前的线性关系的建模的最简单,且非常强大的方法。线性回归方程公式如下: 接 阅读全文
posted @ 2021-05-29 19:23 哥不是小萝莉 阅读(610) 评论(1) 推荐(1) 编辑
摘要: 1.概述 最近Kafka官网发布了2.8版本,在该版本中引入了KRaft模式。鉴于新版本和新特性的引入,相关使用资料较少,那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。 2.内容 2.1 版本介绍 2.1.1 目的 从Kafka2.8版本开始,可以不用Apache Zookeeper来作 阅读全文
posted @ 2021-04-30 16:31 哥不是小萝莉 阅读(6550) 评论(3) 推荐(0) 编辑
摘要: 1.概述 在机器学习里面,常见的预测算法有以下几种: 简易平均法:包括几何平均法、算数平均法及加权平均法; 移动平均法:包括简单移动平均法和加权移动平均法; 指数平滑法:包括一次指数平滑法和二次指数平滑法,以及三次指数平滑法; 线性回归法:包括一元线性回归和二元线性回归。 本篇博客,笔者将为大家主要 阅读全文
posted @ 2021-03-28 17:40 哥不是小萝莉 阅读(1762) 评论(0) 推荐(2) 编辑
摘要: 1.概述 在大数据的浪潮下,时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等,这些数据会以不同的类型存储在不同的平台里面。为了执行ETL(提取、转换、加载)操作,需要一个消息中间件系统,该系统应该是异步和低耦合的,即来自各种存储系统(如HDFS、Cassandra、RDBMS等)的数据可 阅读全文
posted @ 2021-02-28 16:12 哥不是小萝莉 阅读(1056) 评论(0) 推荐(3) 编辑
摘要: 1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率。下面,我们就来看看3 阅读全文
posted @ 2022-09-25 21:22 哥不是小萝莉 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 1.概述 本篇博客将对MySQL、InfluxDB、Clickhouse在写入时间、聚合查询时间、磁盘使用等方面的性能指标来进行比较。 2.内容 比较的数据集,是使用的Clickhouse官网提供的6600万的数据集来进行测试比较的,当MySQL、InfluxDB、Clickhouse也分配4CPU 阅读全文
posted @ 2022-08-28 15:19 哥不是小萝莉 阅读(300) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Kafka系统的灵活多变,让它拥有丰富的拓展性,可以与第三方套件很方便的对接。例如,实时计算引擎Spark。接下来通过一个完整案例,运用Kafka和Spark来合理完成。 2.内容 2.1 初始Spark 在大数据应用场景中,面对实时计算、处理流数据、降低计算耗时等问题时,Apache S 阅读全文
posted @ 2022-07-31 17:14 哥不是小萝莉 阅读(725) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 2.内容 目前,K 阅读全文
posted @ 2022-06-30 23:50 哥不是小萝莉 阅读(1009) 评论(0) 推荐(1) 编辑
摘要: 1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。今天,笔者就为大家介绍如何使用Clickhouse来构建实时数仓,来满足一些实时性要求较高的使用场景。 2.内容 2.1 什么是OLAP场景 在介绍Click 阅读全文
posted @ 2022-05-29 21:57 哥不是小萝莉 阅读(1196) 评论(0) 推荐(0) 编辑
摘要: 1.概述 对于Kafka的学习,在研究其系统模块时,有些核心组件是指的我们去了解。今天给大家来剖析一下Kafka的一些核心组件,让大家能够更好的理解Kafka的运作流程。 2.内容 Kafka系统设计的非常优秀,它的核心组件由生产者、消费者、主题、代理节点、以及Zookeeper组成。这些核心组件彼 阅读全文
posted @ 2022-04-30 22:15 哥不是小萝莉 阅读(618) 评论(2) 推荐(1) 编辑
摘要: 1.概述 Apache Ranger提供了一个集中式的安全管理框架,用户可以通过操作Ranger Admin页面来配置各种策略,从而实现对Hadoop生成组件,比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客,笔者将为大家介绍如何Apache Ranger 阅读全文
posted @ 2022-03-27 14:04 哥不是小萝莉 阅读(1035) 评论(0) 推荐(1) 编辑
摘要: 1.概述 客户端应用程序在运行过程中可能会产生错误,例如调用服务端接口超时、客户端处理业务逻辑发生异常、应用程序突然闪退等。这些异常信息都是会产生日志记录的,并通过上报到指定的日志服务器进行压缩存储。 本篇博客以一个应用实时日志分析平台作为案例来讲述ELK(ElasticSearch、LogStas 阅读全文
posted @ 2022-02-28 12:27 哥不是小萝莉 阅读(1963) 评论(1) 推荐(1) 编辑
摘要: 1.概述 最近,有同学留言关于SQL解析器方面的问题,今天笔者就为大家分享一下SQL解析器方便的一些内容。 2.内容 2.1 SQL解析器是什么? SQL解析与优化是属于编辑器方面的知识,与C语言这类编程语言的解析上是类似的。SQL解析主要包含:词法分析、语义语法分析、优化和执行代码生成、例如,我们 阅读全文
posted @ 2022-01-31 15:46 哥不是小萝莉 阅读(2570) 评论(0) 推荐(4) 编辑
摘要: 1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先,这里我们需要说明一下,Kafka Eagle已经更名为EFAK(Eagle For Apache Kafka)。 阅读全文
posted @ 2021-12-26 13:43 哥不是小萝莉 阅读(1555) 评论(1) 推荐(0) 编辑