摘要：
一、算术和操作符重载 a + b 是如下方法的简写： a.+(b) 在scala中你可以使用任何符号来为方法命名。比如BigInt类就定义了一个/%的方法，该方法返回一个对偶，对偶的内容是除法操作得到的商和余数。 通常来说，你可以用 a 方法 b 作为以下代码的简写 a.方法(b) 这里的方法是一个 阅读全文
posted @ 2016-07-25 17:19
dongdone
阅读(553)
评论(0)
推荐(0)
摘要：
一、luigi配置文件的加载顺序 /etc/luigi/client.cfg luigi.cfg LUIGI_CONFIG_PATH环境变量 二、配置文件分节 配置文件被分为了多个section，每一个控制着不同方面的配置 三、利用配置文件来给参数赋值 如果你有这样的一个类： 你可以使用配置文件的方 阅读全文
posted @ 2016-07-25 15:44
dongdone
阅读(1230)
评论(0)
推荐(0)
摘要：
一、AggregateArtistsHadoop 实现的功能和AggregateArtists类似，需要注意的是： luigi.contrib.hadoop.JobTask不需要你实现run方法，需要你实现mapper和reducer方法。mapper和combiner需要yield包含两个元素的t 阅读全文
posted @ 2016-07-25 15:15
dongdone
阅读(1232)
评论(0)
推荐(0)
摘要：
一、luigi介绍 luigi是基于python语言的，可帮助建立复杂流式批处理任务管理系统。这些批处理作业典型的有hadoop job,数据库数据的导入与导出，或者是机器学习算法等等。 luigi的github：https://github.com/spotify/luigi 目前已经有一些抽象层 阅读全文
posted @ 2016-07-25 11:38
dongdone
阅读(3765)
评论(0)
推荐(0)
浙公网安备 33010602011771号