摘要： 1.数据采集与集成能力 数据中台需要能够从各种数据源中采集数据，并将其进行清洗、加工、整合和归档，以便不同的业务部门和应用系统可以快速、准确地获取到需要的数据。 2.数据存储与管理能力 数据中台需要提供可靠的数据存储和管理机制，包括数据备份、容灾、安全、权限管理等方面，以确保数据的完整性、可靠性和安 阅读全文

摘要： 这里我们使用两阶段keyby 解决该问题 之前的问题如下图所示 我们期望的是 但我们的需要根据key进行聚合统计，那么把相同的key放在不同的subtask如何统计？ 我们看下图（只画了主要部分） 1.首先将key打散，我们加入将key转化为 key-随机数 ,保证数据散列 2.对打散后的数据进行聚 阅读全文

摘要： YARN 的基本思想是将资源管理和作业调度/监控的功能拆分为单独的守护进程。这个想法是有一个全局 ResourceManager ( RM ) 和每个应用程序 ApplicationMaster ( AM )。应用程序可以是单个作业或作业的 DAG。 ResourceManager 和 NodeMa 阅读全文

摘要： 阿里云flink技术路线使用文档 第一章 概述 1.1实时安全监控案例介绍 实时监控报警作为保障数据安全的重要环节，受到越来越多的关注。为了保证同时满足数据的正确性和实效性，实时计算Flink版将流式数据源表和存放白名单的维度表进行实时JOIN，识别源表中数据对应的地址是否存在于白名单中，采取过滤等 阅读全文

摘要： Java基础知识总结（超级经典） 写代码： 1，明确需求。我要做什么？ 2，分析思路。我要怎么做？1,2,3。 3，确定步骤。每一个思路部分用到哪些语句，方法，和对象。 4，代码实现。用具体的java语言代码把思路体现出来。 学习新技术的四点： 1，该技术是什么？ 2，该技术有什么特点(使用注意)： 阅读全文

摘要： 在一个javaWeb项目中，配置拦截器是必不可少的，有些操作只有在权限用户登录下才可以进行，那么一个简单的拦截器该如何写呢？首先自定义一个拦截器实现HandlerIntercepto接口，然后获取登录信息，具体是怎样实现的请看下面的代码实现： 阅读全文