摘要：这篇文章描述了因为进程/单线程cpu瓶颈，导致Flink任务延迟的案例，并且分享了从最开始平台工作人员手动去服务器帮用户诊断,再到如何赋能给用户自助诊断的过程。 案例一：是TaskManager进程cpu使用率达到瓶颈的案例 (如果读者生产环境未开启cgroup可以跳过这个案例) 案例二：是Task 阅读全文

摘要：在这里感谢最近一直阅读我文章的小伙伴，如果觉得文章对你有用，可以帮忙关注转载，需要的时候可以及时找到文章。 背景 今年Q3季度我们在推广业务方使用Iceberg，当时为了让不同业务线的用户可以使用自己的hadoop账号权限把数据写到他们的hadoop集市目录，我们在Iceberg中添加了ugi，使F 阅读全文

摘要：这次要说的点依旧不大，主要想给大家讲的是如果发现 Flink on Yarn 定位Native Memory超出限制一个排查思路加上第二篇文章讲的Direct Memory相关。第四篇我大概率会讲一个堆内存相关的案例。 背景 这次问题发生是在18年，我们开始调研Flink。当时运维帮忙搭建了一个不大 阅读全文

摘要：笔者目前在汽车之家云基础平台负责flink平台，数据湖， kafka平台的设计及开发。平时擅长做平台设计，定位及解决各种疑难杂症。最近开始冲动，想总结下最近几年使用的工具及定位的疑难杂症。时间久远，且目前工作，生活节奏较快。我大多数总结的文章应该都是大白话文，以简短的文章为主。心路历程及过程都是次要 阅读全文

摘要：笔者是汽车之家实时计算平台的一名小伙伴。负责flink平台，数据湖及kafka平台的设计与开发。平时擅长做平台设计，定位及解决各种疑难杂症。第二篇文章，讲的点依旧很小，但是这次图多！！！ 在这里感谢支持上篇文章的小伙伴了 前言 这篇文章是之前解决一个Flink任务在线上发生fullgc 当时的想法就 阅读全文