2025.2.6（周四）

随着实时数据处理需求的增加，Apache Flink和Spark Streaming成为了流处理领域的两大主力框架。学习流处理时，常见的问题是如何选择适合的框架，如何高效地进行数据处理。

如何使用Apache Flink进行流数据处理

from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream import DataStream

# 创建Flink流处理环境
env = StreamExecutionEnvironment.get_execution_environment()

# 假设数据从Socket流入
socket_stream = env.socket_text_stream('localhost', 9999)

# 处理数据：例如计算单词出现次数
word_count = socket_stream.flat_map(lambda line: line.split()).map(lambda word: (word, 1)).key_by(0).sum(1)

# 打印输出
word_count.print()

# 启动流处理
env.execute("Flink Word Count")