摘要：1.spark中窄依赖的时候不需要shuffle，只有宽依赖的时候需要shuffle，mapreduce中map到reduce必须经过shuffle 2.spark中的shuffle fetch的时候进行merge操作利用aggregator来进行，实际上是个hashmap，放在内存中 第一个 Ma 阅读全文

摘要：将父类比喻为电脑的外设接口，子类比喻为外设，现在我有移动硬盘、U盘以及MP3，它们3个都是可以作为存储但是也各不相同。如果我在写驱动的时候，我用个父类表示外设接口，然后在子类中重写父类那个读取设备的虚函数，那这样电脑的外设接口只需要一个。但如果我不是这样做，而是用每个子类表示一个外设接口，那么我的电 阅读全文

摘要：转自https://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html 深入FFM原理与实践 del2z, 大龙 ·2016-03-03 09:00 FM和FFM模型是最近几年提出的模型，凭借其在数据量比较 阅读全文