Daft UDF 简单说明

Daft 内部UDF 相比apply 提供了不少优化

apply 的使用

• 参考

df.with_column(
    "flattened_image",
    df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.python())
).show(2)

apply 的缺点

• 只能支持一个列
• 一次只能运行一个条目

UDF 的特点

• 支持一次处理多列以及多行，提升性能

UDF使用

• 参考示例

@daft.udf(return_dtype=daft.DataType.python())
def crop_images(images, crops, padding=0):
    cropped = []
    for img, crop in zip(images.to_pylist(), crops.to_pylist()):
        x1, x2, y1, y2 = crop
        cropped_img = img[x1:x2 + padding, y1:y2 + padding]
        cropped.append(cropped_img)
    return cropped

df = df.with_column(
    "cropped",
    crop_images(df["image"], df["crop"], padding=1),
)
df.show(2)

• udf input 参数

udf input 参数可以是ppyarrow 以及python list，会对于参数转换为daft.Series 对象

• 返回类型 可以是numpy arrays，pyarrow arrays，python list
• 有状态的udf udf 可以创建为一个class，可以进行一些复杂状态的处理
• 请求资源处理

可以在啊udf中声明内存，gpu，cpu，批处理数量

说明

Daft 的udf 提供了相比传统套路跟灵活强大的能力，同时可以很好的集成机器学习周边的能力

参考资料

https://www.getdaft.io/projects/docs/en/stable/user_guide/udf.html

https://www.getdaft.io/projects/docs/en/stable/api_docs/series.html#daft.Series