摘要：
from pyflink.table import TableEnvironment, EnvironmentSettings settings = EnvironmentSettings.in_streaming_mode() t_env = TableEnvironment.create(set
阅读全文
posted @ 2025-12-18 16:26
ZhangZhihuiAAA
阅读(8)
推荐(0)
摘要：
tokenizer = Tokenizer(inputCol='text', outputCol='tokens') remover = StopWordRemover(inputCol='tokens', outputCol='filtered') encoder = OneHotEncoder(
阅读全文
posted @ 2025-12-18 09:21
ZhangZhihuiAAA
阅读(4)
推荐(0)
摘要：
Airflow's test connection feature is disabled. How to enable it? In Airflow 3.1.3, the Test Connection button and functionality is disabled by default
阅读全文
posted @ 2025-12-17 20:26
ZhangZhihuiAAA
阅读(11)
推荐(0)
摘要：
I wanted to create a connection to PostgreSQL in Airflow, but found that there's no Postgres connection type. Why? My Airflow version is 3.1.3. This i
阅读全文
posted @ 2025-12-17 20:15
ZhangZhihuiAAA
阅读(9)
推荐(0)
摘要：
既然你提到了这四个核心组件，我们可以通过一个**“现代物流中心”的比喻，一次性理清它们之间的存储、处理、查询和实时响应**的协作关系。 1. 核心关系图解 如果把大数据处理看作一个物流系统： Hadoop (HDFS) 是大仓库的物理建筑。它提供了最底层的空间，把货物（数据）存在地窖或货架上。 Hi
阅读全文
posted @ 2025-12-17 16:57
ZhangZhihuiAAA
阅读(21)
推荐(0)
摘要：
判断步骤 1️⃣ 看表内容 属性字段多 → 倾向维度表 指标字段多 → 倾向事实表 2️⃣ 看业务含义 描述实体 → 维度表 记录事件/交易 → 事实表 3️⃣ 看数据增长方式 历史追溯 → 维度表可拉链 新增为主 → 事实表 4️⃣ 看表粒度 每条记录唯一描述一个实体 → 维度表 每条记录唯一描述
阅读全文
posted @ 2025-12-17 15:27
ZhangZhihuiAAA
阅读(4)
推荐(0)
摘要：
CREATE TABLE user_login ( user_id int, login_date date ); INSERT INTO user_login VALUES (1, '2025-12-01'::date), (1, '2025-12-01'::date), (1, '2025-12
阅读全文
posted @ 2025-12-17 10:34
ZhangZhihuiAAA
阅读(5)
推荐(0)
摘要：
pip install apache-airflow-providers-apache-spark Got below error when ran the above command: pip._vendor.resolvelib.resolvers.ResolutionTooDeep: 2000
阅读全文
posted @ 2025-12-16 23:20
ZhangZhihuiAAA
阅读(4)
推荐(0)
摘要：
The SparkOperator in Apache Airflow is used to submit Spark applications (usually via spark-submit) from an Airflow DAG. Below is a clear, practical g
阅读全文
posted @ 2025-12-16 21:55
ZhangZhihuiAAA
阅读(4)
推荐(0)
摘要：
ZhangZhihui@ZZHPC MINGW64 /e/WeChatProjects/MySongList $ git init Initialized empty Git repository in E:/WeChatProjects/MySongList/.git/ ZhangZhihui@Z
阅读全文
posted @ 2025-12-16 19:10
ZhangZhihuiAAA
阅读(4)
推荐(0)
浙公网安备 33010602011771号
浙ICP备2021040463号-3
