摘要：
我用一个集团公司对人事信息处理场景的简单案例，来作为入门，详细分析DataFrame上的各种常用操作，包括集团子公司的职工人事信息的合并，职工的部门相关信息查询、职工信息的统计、关联职工与部门信息的统计，以及如何将各种统计得到的结果存储到外部存储系统等。 在此入门案例里，涉及的DataFrame实例 阅读全文
posted @ 2016-12-03 12:03
大数据和AI躺过的坑
阅读(1785)
评论(0)
推荐(0)
摘要：
Spark SQL在Spark内核基础上提供了对结构化数据的处理，在Spark1.3版本中，Spark SQL不仅可以作为分布式的SQL查询引擎，还引入了新的DataFrame编程模型。 在Spark1.3版本中，Spark SQL不再是Alpha版本，除了提供更好的SQL标准兼容之外，还引进了新的 阅读全文
posted @ 2016-12-03 11:15
大数据和AI躺过的坑
阅读(1074)
评论(0)
推荐(0)
摘要：
通过对移动互联网数据的分析，了解移动终端在互联网上的行为以及各个应用在互联网上的发展情况等信息。 具体包括对不同的应用使用情况的统计、移动互联网上的日常活跃用户（DAU）和月活跃用户（MAU）的统计，以及不同应用中的上行下行流量统计等分析。 为了简化移动互联网数据的分析，我这里是当个入门。 假设，移 阅读全文
posted @ 2016-12-03 10:50
大数据和AI躺过的坑
阅读(764)
评论(0)
推荐(0)
摘要：
能有源码的辅助，加上自身的修炼，能起到很好的作用！ 对于初学者，不建议，一上来看源码。 下载 http://archive.apache.org/dist/spark/spark-1.6.1/ 阅读全文
posted @ 2016-12-03 09:26
大数据和AI躺过的坑
阅读(572)
评论(0)
推荐(0)
浙公网安备 33010602011771号