摘要：
kafka eagle gihub 官方文档 0. eagle简介 是一个监控系统，监控kafka 集群，可视化地展示消费者线程、偏移量、所有者等信息。 监控了当前的消费者组、每个组正在消费的主题以及该组在每个主题中的偏移、滞后量、日志大小位置。有助于把握 消息队列中消费的速度以及消息队列生产的速度 阅读全文
posted @ 2025-03-20 19:34
钱塘江畔
阅读(91)
评论(0)
推荐(0)
摘要：
flink基本原理 stratosphere架构 dataflow模型 无界，有界 窗口：固定窗口，滑动窗口，会话窗口 时间域和水位线 分布式异步快照 chandy-lamport ABS 异步屏障快照 flink基本设计思想 stratosphere系统架构 dataflow模型 分布式异步快照算 阅读全文
posted @ 2025-03-20 19:30
钱塘江畔
阅读(14)
评论(0)
推荐(0)
摘要：
二分法 递推：顺推，逆推 枚举：穷举 递归：出口，将问题化为一个缩小了的子问题 分治：分解，求解，合并 贪婪算法思想：找零钱 试探法： 模拟算法：随机数 阅读全文
posted @ 2025-03-20 19:29
钱塘江畔
阅读(12)
评论(0)
推荐(0)
摘要：
1. 概述 1.1 开发只占冰山一角 1.2 计算机科学、数学，工程，管理 1.3 软件开发的本质：实现问题域中的概念和处理逻辑 到 运行平台的概念和处理逻辑的映射。 系统建模 需求 -> 设计 -> 实现 1.4 软件工程的目标： 生产具有正确性、可用性、以及开销合宜的产品。 1.5 软件工程的活 阅读全文
posted @ 2025-03-20 19:25
钱塘江畔
阅读(36)
评论(0)
推荐(0)
摘要：
1. os.environ executors数量增加后，出现以下问题： TaskSetManager: Lost task 10.3 in stage 1.0 (TID 21) on executor OCDC-ARM-DN-160: org.apache.spark.SparkException 阅读全文
posted @ 2025-03-20 19:21
钱塘江畔
阅读(21)
评论(0)
推荐(0)
摘要：
在python里面经常会出现 module_name 和 class_name 其实区别很简单 module_name 就是python文件的名字 在python文件里面可以定义多个 class，当然大多数其实只定义一个。 所以 module 和 class的关系是从属的关系，同时 module:c 阅读全文
posted @ 2025-03-20 19:20
钱塘江畔
阅读(16)
评论(0)
推荐(0)
摘要：
# 直接连接IP beeline !connect jdbc:hive2://1.1.6.1:10000 # 通过zookeeper服务发现 beeline -u 'jdbc:hive2://1.1.6.2:2181,1.1.6.6:2181,1.1.6.14:2181/;serviceDiscov 阅读全文
posted @ 2025-03-20 19:20
钱塘江畔
阅读(19)
评论(0)
推荐(0)
摘要：
对于聚类算法，计算密集型的任务，如何调优 # 以下各角色的作用？ MemoryStore BlockManager BlockManagerMaster spark-submit调优并行度的关键点： 并行运行的task数量 = min(partitions, executors x executor 阅读全文
posted @ 2025-03-20 19:18
钱塘江畔
阅读(20)
评论(0)
推荐(0)
摘要：
Spark Thrift Servers 提供JDBC/ODBC连接的服务 服务运行方式是一个Spark的应用程序，只是这个应用程序支持JDBC/ODBC的连接， 所以：可以通过应用的4040页面来进行查看操作 beeline连接 !connect jdbc:hive2://ser-01:10015 阅读全文
posted @ 2025-03-20 19:17
钱塘江畔
阅读(11)
评论(0)
推荐(0)
摘要：
file file1 file file2 .. with CRLF line terminators .. windows文件 with CRLF line terminators 解决办法：告诉 vi 编辑器,使用unix换行符。 vim file2 : set ff = unix 阅读全文
posted @ 2025-03-20 19:16
钱塘江畔
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号