tonyabasy

2026年6月10日

摘要：翻译自 A Deep Dive into Rescalable State in Apache Flink 在 2017 年 5 月发布的 Apache Flink 1.2.0 中我们介绍了新特性可扩展状态（rescalable state）。接下来本篇文章会详细介绍 Flink 的状态流处理（st 阅读全文

posted @ 2026-06-10 20:09 tonyabasy 阅读(3) 评论(0) 推荐(0)

Apache Flink 大状态管理：增量 checkpointing 介绍

摘要：翻译自 Managing Large State in Apache Flink: An Intro to Incremental Checkpointing Apache Flink 专门为状态流（stateful stream）计算而搭建。那什么是流计算中的状态（state）？我在上一篇博客中定阅读全文

posted @ 2026-06-10 20:07 tonyabasy 阅读(4) 评论(0) 推荐(0)

Apache Flink：基于 Reactive Mode 的 Flink 自动扩容

摘要：翻译自 Apache Flink: Scaling Flink automatically with Reactive Mode 简介流式作业长时间运行过程中常常会经历不同流量负载的情况。流量负载会出现周期性的变化，如：白天与晚上、周末与工作日、节假日与非节假日，这些波动可能是突发事件或是业务的自阅读全文

posted @ 2026-06-10 20:02 tonyabasy 阅读(3) 评论(0) 推荐(0)

Flink 实时数仓开发实战：像 Hive 那样用 Flink SQL

摘要：概览本文介绍一种如何在 Flink 1.20（目前企业广泛使用的 LTS 版本）中通过 flink run 方式直接提交一个包含多条 SQL 的 .sql 文件。给用户提供一种类似于 hive -f my_etl.sql 那样丝滑的 Flink SQL 开发体验。本方案能够运行在任何资源环境阅读全文

posted @ 2026-06-10 18:26 tonyabasy 阅读(4) 评论(0) 推荐(0)

2026年6月2日

如何让 Flink SQL 生产提交更优雅？支持 Catalog 快照与算子级资源调优

摘要：项目已完全开源，欢迎围观： gitee - tonyabasy/flink-sql-bootstrap github - tonyabasy/flink-sql-boostrap 为什么要用 Flink SQL Bootstrap 原生 Flink SQL 在生产环境有三大痛点：痛点原生 Fli 阅读全文

posted @ 2026-06-02 18:43 tonyabasy 阅读(7) 评论(0) 推荐(0)

2026年1月7日

解决20260107出现LogiOptions+证书失效导致无法打开的问题

摘要：最新信息（2026.01.08）：官方已经修复该问题，修复方式参考官方文档：https://support.logi.com/hc/zh-cn/articles/37493733117847-Options-和-G-HUB-的-macOS-证书问题 1. 概述该项目用于解决 2026.01.07 阅读全文

posted @ 2026-01-07 15:11 tonyabasy 阅读(4008) 评论(5) 推荐(1)

2025年12月4日

Flink 细粒度资源管理（On Yarn）

摘要：简介 Flink 细粒度资源管理从 Flink 1.16 开始支持，旨在解决 TaskManger 资源的更精细化管理，比如：简单的 Source、Sink 希望少用一些资源 Aggregate、双流 Join 希望多用一些内存资源复杂的字符串解析希望多用一些 CPU 资源本文通过介绍 On 阅读全文

posted @ 2025-12-04 16:24 tonyabasy 阅读(77) 评论(0) 推荐(0)

2025年11月28日

shell 并发执行模板

摘要：已经在生产环境验证可用运维过程中常常遇到大批量的重复运行某些脚本，单线程执行速度往往很慢，这里提供一个并发执行的 shell 脚本，有详细的日志打印和结果输出： LOG_FILE：存储命令执行日志文件，包括异常日志 RES_FILE：存储输出结果 INPUT_FILE：批量输入的内容，如：一组文件阅读全文

posted @ 2025-11-28 15:35 tonyabasy 阅读(22) 评论(0) 推荐(0)

2025年11月6日

解决macOS升级到Tahoe后ssh-dss算法失效的问题

摘要：本篇介绍如何在 macOS Tahoe（M芯片）终端利用 ssh 继续通过 DSA 算法连接远程服务器，解决因 OpenSSH 升级带来的异常Bad key types '+ssh-dss'。概述 macOS 近期推送了新的系统 Tahoe，系统升级的同时也升级了内部的 OpenSSH 组件到O 阅读全文

posted @ 2025-11-06 20:58 tonyabasy 阅读(383) 评论(0) 推荐(0)