千千寰宇

摘要： 0 序言 窗口机制是Flink框架的重要特性之一。 近期项目上，遇到了这一块的相关问题。本文主要讲解项目上遇到的一个时间戳抽取器（用于确定基于EventTime进展的水位线(watermark)所需的事件时间）————BoundedOutOfOrdernessTimestampExtractor 0 阅读全文

摘要： 0 序言 在本地环境(本地电脑)开发、调试，或集群环境下运行Flink Job时，需要利用Web UI观测作业内部的运行情况。 本文仅演示通过本地电脑环境(LocalEnvironment)直接提交运行Flink作业时，启用WEB UI的场景。 StreamExecutionEnvironment 阅读全文

摘要： 0 序言 项目上有个场景：数据源连接池需要对key对象的hash值重写，保证通过相同的关键属性(datasourceName)值去重不同的对象。 public abstract class AbstractDatabaseConnectorKeyedObjectPool<K extends Data 阅读全文

摘要： 0 序 0.0 序 主数据在大数据-数据治理与管理工作中的地位： 主数据是数据之源，是数据资产管理的核心，是信息系统互联互通的基石，是信息化和数字化的重要基础。 主数据管理是一系列规则、应用和技术，用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理重要性是消除数据冗余；提升数据处理效率 阅读全文

摘要： 0 序 0.1 国标基本信息 国家标准《信息技术 大数据 术语》 由TC28（全国信息技术标准化技术委员会）归口 ，主管部门为国家标准化管理委员会。 主要起草单位 中国电子技术标准化研究院 、浪潮软件集团有限公司 、浪潮（北京）电子信息产业有限公司 、国家信息中心 、华为技术有限公司 、北京数码大方 阅读全文

摘要： 0 序言 本文背景：近期在jmeter测试服务器上跑压测脚本，跑完后，生成 .jtl的测试报告文件。但这份文件不便于直接阅读（尤其是统计分析能力欠缺），我需要转为html。 1 使用方式 CASE1: 基于JMX脚本进行压力测试，输出JTL测试报告文件 wget https://dlcdn.apac 阅读全文

摘要： 0 政策背景 数据从业者，有必要对所处工作的前沿事实政策有个了解。故有了此文。 财政部网站，2024年1月11日消息，为深入贯彻落实党中央决策部署，规范和加强数据资产管理，更好推动数字经济发展，财政部制定印发了《关于加强数据资产管理的指导意见》。 财政部重磅发布！利好50万亿市场 财政部资产管理司有 阅读全文

摘要： 0 序 本文主要参考自: Linux命令之MD5校验md5sum 1 命令概述 1.1 用途 md5sum : 用于计算和校验文件的MD5值。 $ echo "hello world" | md5sum.ex 6f5902ac237024bdd0c176cb93063dc4 *- md5sum 常常 阅读全文

摘要： 0 序 GB/T 32960《电动汽车远程服务与管理系统技术规范》，作为电动汽车（:= 智能网联汽车/新能源汽车）行业的核心标准之一，有必要进行深入阅读和熟悉，以便理解和开展日常相关的汽车大数据开发工作。 0.1 强制标准与推荐标准的区分 强制标准与推荐标准的区分 强制性标准： 具有法律层面的意义 阅读全文

摘要： 1 概述:反射机制 反射的概念：所谓的反射就是在程序运行时拥有一项自观的能力。反射使您的程序代码能够得到装载到JVM中的类的内部信息，允许您执行程序时才得到需要类的内部信息，而不是在编写代码的时候就必须要知道所需类的内部信息，这使反射成为构建灵活的应用的主要工具。 1.1 原理 反射机制是指程序在运 阅读全文

摘要： 0 序 背景 近期跟踪一个第三方组件skywalking针对spring cloud gateway的traceId丢失问题，需要对 skywalking 内部组件类进行跟踪，需要在其组件源码内部添加一些观察代码，做以增强。 Q1: 我没有 third-party.jar 的源码————故直接在源码 阅读全文

摘要： 1 PatternLayout / LogEventPatternConverter : 自定义日志格式及格式变量 在 Log4j 或 Logback 等 Java 日志框架中，PatternLayout 类允许你定义日志输出的格式。 PatternLayout 通过一系列的转换器(PatternC 阅读全文

摘要： 1 基础概念 1.1 网关(gateway) 网关其实是一个服务器，扮演着代表其他服务器为客户端提供服务的中间者。与代理（proxy）相似又有不同，网关接收请求，仿佛它就是请求资源的源服务器。请求的客户端可能觉察不到它正在同网关通信。 1.2 上游(upstream) => 网关 => 下游(dow 阅读全文

摘要： 1 问题描述 CASE/20231226 : Nginx Web Server 此问题（通过方法1）已解决，但整体的解决思路，参考自网友，故著名为【转载】文章 昨晚压测时，通过API请求10000个设备的若干信号（5个）状态时，Postman返回Nginx的如下错误 API 整个请求有 1.37MB 阅读全文

摘要： 0 背景 0.1 背景：数据二十条、会计处理暂行规定 构建全国统一数据流通市场，推进数据要素资产化战略 时政形策演变 2022年12月2日，中共中央、国务院印发《关于构建数据基础制度更好发挥数据要素作用的意见》（以下简称“《数据二十条》”），指出要充分发挥海量数据规模和丰富应用场景优势，同时明确提出 阅读全文