pathway 简单试用

注意pathway 智能在linux以及mac系统中运行

试用

基于了官方提供的简单示例

• 安装

最好使用虚拟环境

pip install pathway

• app.py

实际上就是一个读取sum_input_data 目录里边的csv内容，然后汇总计算总和

import pathway as pw

class InputSchema(pw.Schema):
    value: int

t = pw.io.csv.read(
  './sum_input_data/',
    schema=InputSchema
)
t = t.reduce(sum=pw.reducers.sum(t.value))
pw.io.csv.write(t, "output_stream.csv")
pw.run()

• 启动

可以使用普通的python 模式以及基于pathway 提供的cli

python app.py
or
pathway spawn python app.py

• 效果

csv 内容

结果

启动日志

说明

从使用上pathway还是比较简单的，以上支持对于官方示例的一个运行，实际上官方关于时序数据处理部分的介绍还是很值得学习的，后边会介绍下使用

参考资料

https://github.com/pathwaycom/pathway

https://pathway.com/developers/user-guide/introduction/installation