luigi学习3-使用luigid

--local-scheduler的方式只适用于开发调试阶段,当你真正要把程序部署到一个产品时,我们推荐使用luigid服务。

使用luigid服务不但能提供锁服务(防止一个任务被多个进程重复执行),并且还提供了一个友好的可视界面。

一、如何使用luigid

1.1执行luigid

首先你在一个终端执行:

luigid

那么luigid服务就会启动

1.2执行top artist任务

PYTHONPATH='' luigi --module top_artists ArtistToplistToMysql  --date-interval 2012-08

注意:这里将--local-scheduler参数去掉了,这个脚本会连接scheduler服务,也就是luigid。

你可以通过http://localhost:8082来查看可视化界面。

1.3可视化界面的截图

下面这个截图是ArtistToplistToMysql的依赖关系图:

至此,topArtist例子就完了,你也学习到了luigi的基本用法。

posted @ 2016-07-26 10:49  dongdone  阅读(964)  评论(0编辑  收藏  举报