2017 年 4月 11 日随笔档案 - 大葱拌豆腐

2017年4月11日

摘要：呼叫结果(call_result)与销售历史(sale_history)的join优化： CALL_RESULT: 32亿条/444G SALE_HISTORY:17亿条/439G 原逻辑 Map: 3255 Reduce: 950 Cumulative CPU: 238867.84 sec HDF 阅读全文

posted @ 2017-04-11 19:21 大葱拌豆腐阅读(1402) 评论(0) 推荐(0)

Spark SQL与Hive on Spark的比较

摘要：简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark 在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。 Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executo 阅读全文

posted @ 2017-04-11 09:42 大葱拌豆腐阅读(2409) 评论(0) 推荐(0)

公告