大数据与人工智能 - 随笔分类(第8页) - JackYang

Apache Flink 分区算子Rebalance剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 1.1定义 Rebalance算子是一种平衡分区算子，它将数据均匀分配到所有分区中。Rebalance算子适用于数据倾斜的情况下，可以使所有分区的数据量相近，避免某些分区的数据过多导致性能下降。 1.2Rebalance算子的实现流程 Apache Flink中的分区算子Rebalance 阅读全文

posted @ 2023-03-12 00:50 JackYang 阅读(1805) 评论(1) 推荐(1)

Apache Flink 分区算子Shuffle剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 1.1定义 Shuffle是Apache Flink中的一个分区算子，用于将数据流进行随机分区。它可以将数据流中的每个元素随机地分配到下游算子的一个分区中，从而实现数据的随机分布。 1.2Shuffle算子的实现流程在Flink中，Shuffle算子可以将输入数据流的每个元素随机地分配到阅读全文

posted @ 2023-03-12 00:08 JackYang 阅读(2182) 评论(1) 推荐(1)

Apache Flink 分区算子KeyBy剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Apache Flink中的KeyBy算子是一种根据指定Key将数据流分区的算子。在使用KeyBy算子时，需要指定一个或多个Key，Flink会根据这些Key将数据流分成不同的分区，以便并行处理。 KeyBy算子通常用于实现基于Key的聚合操作，如求和、平均值等。它可以将具有相同Key的数阅读全文

posted @ 2023-03-11 23:38 JackYang 阅读(6303) 评论(1) 推荐(2)

Flink核心概念-史上最通俗易懂的Flink源代码深入分析教程

摘要：Apache Flink是一个流式处理框架，它支持流和批处理，具有高性能、低延迟、高吞吐等优点。Flink的核心概念是DataStream和DataSet，它们分别代表流和批数据。DataStream和DataSet支持基于事件时间和处理时间的窗口操作、流数据的状态管理、分布式数据源和数据接收等功能阅读全文

posted @ 2023-03-11 21:05 JackYang 阅读(884) 评论(1) 推荐(1)

作业调度-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 Flink作业调度是将Flink作业提交到Flink集群上，并根据作业的执行计划和资源需求等信息对作业进行优化、调度和分配，从而实现高效、可靠的作业执行的过程 2.设计思路：作业提交：Flink作业调度的第一步是将作业提交到集群上，提交方式可以通过命令行、Web界面或API等实现。作业阅读全文

posted @ 2023-03-11 17:29 JackYang 阅读(188) 评论(0) 推荐(1)

JobManager 数据结构-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.常用的数据结构定义 Flink中，JobManager内部维护了多个数据结构，用于存储和管理作业的元数据信息。以下是JobManager中常用的数据结构： JobGraph：JobGraph是Flink作业的执行计划，它描述了作业中各个算子之间的依赖关系，以及算子的并行度、数据分配等信息。Job 阅读全文

posted @ 2023-03-11 16:48 JackYang 阅读(305) 评论(0) 推荐(1)

Flink 架构-史上最通俗易懂的Flink源代码深入分析教程

摘要：Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink 集群剖析 Flink 阅读全文

posted @ 2023-03-11 15:55 JackYang 阅读(646) 评论(0) 推荐(1)

StreamGraph、JobGraph、ExecutionGraph以及物理执行图-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 StreamGraph、JobGraph、ExecutionGraph以及物理执行图是Apache Flink中实现流处理的关键组件，它们之间存在着层次结构和依赖关系，用于执行流处理任务。 StreamGraph StreamGraph是Flink的逻辑执行图，描述了整个流处理任务的流程和阅读全文

posted @ 2023-03-11 15:52 JackYang 阅读(397) 评论(1) 推荐(1)

SourceTransformation-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 SourceTransformation的主要作用是将一个数据源转换为DataStream，以便对数据源进行各种处理操作，例如map、filter、join等。在Flink中，数据源可以是各种不同的数据源，例如Kafka、Socket、文件等。 2.使用示例下面是一个简单的示例，演示如何阅读全文

posted @ 2023-03-11 15:19 JackYang 阅读(134) 评论(1) 推荐(1)

DataStream-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义在Flink中，DataStream是一个分布式数据集，表示无限流或有限流的数据流。DataStream可以由一个或多个数据源创建，数据源可以是文件、集合、Kafka主题等。DataStream提供了一组API方法，可以对数据流进行转换、过滤、聚合等操作，并将结果发送到Sink（例如文件、阅读全文

posted @ 2023-03-11 14:56 JackYang 阅读(509) 评论(0) 推荐(1)

StreamExecutionEnvironment-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 StreamExecutionEnvironment是Flink中用于定义和执行流处理程序的主要类。它提供了一系列函数和方法来配置流处理程序的执行环境（例如并行度、checkpoint、时间特性），并将其部署到Flink集群中运行。 2.主要功能和设计思路提供编程接口StreamExec 阅读全文

posted @ 2023-03-11 13:43 JackYang 阅读(1584) 评论(1) 推荐(1)

用户行为数据的获取与预处理-个性化推荐的理论与实践

摘要：1. 前言在进行用户行为分析前，我们首先需要获取用户的行为数据，并对其进行预处理，以便后续的分析和挖掘。这一过程主要包括数据采集、数据清洗和数据存储三个方面。 2. 数据采集数据采集是指从各种数据源中收集用户行为数据的过程。常用的数据源包括网站、APP、社交媒体、传感器和传输设备等。数据采集的方阅读全文

posted @ 2023-03-10 13:08 JackYang 阅读(502) 评论(0) 推荐(0)

个性化推荐的技术基础与挑战-个性化推荐的理论与实践

摘要：1. 技术基础个性化推荐的技术基础主要包括以下几个方面： 1.1. 数据收集与处理个性化推荐的基础是收集用户的行为、偏好、历史记录等数据，对这些数据进行清洗、筛选、标注等处理，构建用户画像和商品画像。数据收集可以通过多种方式实现，例如用户行为追踪、问卷调查、社交媒体数据、用户评价等。 1.2. 阅读全文

posted @ 2023-03-10 11:09 JackYang 阅读(937) 评论(0) 推荐(0)

Flink源代码目录结构-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Flink是一个复杂的分布式计算框架，通过对其源代码进行分析，可以深入了解Flink的内部实现原理，包括任务调度、数据流处理、状态管理等方面。而从源代码目录入手，进行Flink源代码分析是非常必要的。因为Flink是一个开源的项目，其源代码是公开的，其组织结构非常清晰，不同模块的代码都被分阅读全文

posted @ 2023-03-09 00:50 JackYang 阅读(1671) 评论(0) 推荐(0)

Flink源代码分析重要性-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Apache Flink是一个流式处理引擎，被广泛应用于大数据分析和实时数据处理。Flink的高性能和灵活性使其成为了许多企业的首选解决方案。Flink的代码量非常庞大，涉及到许多复杂的算法和数据结构。因此Flink源代码的阅读和理解需要开发人员具备一定的编程能力和技术水平。 2.Flin 阅读全文

posted @ 2023-03-09 00:33 JackYang 阅读(281) 评论(0) 推荐(0)

个性化推荐的应用场景和商业价值-个性化推荐的理论与实践

摘要：1.概述随着互联网和数字化技术的发展，个性化推荐成为了商业领域中的一项重要技术，具有广泛的应用场景和商业价值。个性化推荐技术通过分析用户的历史行为、兴趣偏好、社交关系等多维度数据，为用户提供个性化的产品和服务，提高用户的满意度和忠诚度，增加企业的收益和竞争力，优化产品和服务的设计和提供，促进数字化阅读全文

posted @ 2023-03-08 00:14 JackYang 阅读(867) 评论(0) 推荐(0)

个性化推荐的定义和意义-个性化推荐的理论与实践

摘要：一、前言随着互联网和移动互联网的不断发展，用户面临的信息过载问题日益严重。用户需要花费大量时间和精力寻找自己需要的信息，而且很难找到最适合自己的产品、服务或内容。这时，个性化推荐作为一种有效的信息过滤和优化手段，为用户提供了极大的便利和效益。个性化推荐不仅能够提高用户满意度和忠诚度，还能为企业带来阅读全文

posted @ 2023-03-07 20:20 JackYang 阅读(2528) 评论(0) 推荐(0)

个性化推荐之理论与实践

摘要：第一章个性化推荐概述 1.1 个性化推荐的定义和意义介绍个性化推荐的基本概念和定义，阐述其特点和优势，探讨其在商业各个领域的重要意义。 1.2 个性化推荐的应用场景和商业价值 1.3 个性化推荐的技术基础与挑战第二章用户行为数据处理与分析 2.1 用户行为数据的获取与预处理 2.2 用户行为阅读全文

posted @ 2023-03-07 18:15 JackYang 阅读(229) 评论(0) 推荐(0)

Flink简介小结-史上最通俗易懂的Flink源代码深入分析教程

摘要：Flink是一种流处理引擎，它具有高效、可靠和灵活的特点，可以帮助企业和机构实现实时数据处理和分析，提高业务效率和决策效果。本章通过介绍Flink的概述、历史和版本、社区和生态系统、与其他大数据技术的比较以及应用案例，全面阐述了Flink的特点和优势。在本小节我将简单回顾一下本章中提到的各个方面，阅读全文

posted @ 2023-03-07 10:36 JackYang 阅读(173) 评论(0) 推荐(0)

Flink的应用案例-史上最通俗易懂的Flink源代码深入分析教程

摘要：前言随着互联网技术的不断发展，数据量呈爆炸式增长，如何高效处理和分析这些数据成为了企业和组织面临的重大问题。在大数据技术中，Flink作为一种高效的流处理框架，被越来越多的企业和组织所应用。本文将介绍Flink在实际应用中的场景和案例，以便更好地了解Flink的优势和应用价值。金融领域在金阅读全文

posted @ 2023-03-07 10:08 JackYang 阅读(344) 评论(0) 推荐(0)

随笔分类 - 大数据与人工智能