随笔分类 -  Spark

spark三种连接join
摘要：本文主要介绍spark join相关操作。 讲述spark连接相关的三个方法join，left-outer-join，right-outer-join，在这之前，我们用hiveSQL先跑出了结果以方便进行对比。 我们以实例来进行说明。我的实现步骤记录如下。 1、数据准备 2、HSQL描述 3、Spa 阅读全文
posted @ 2017-11-03 16:45 扎心了老铁 阅读(46498) 评论(1) 推荐(3)
spark-streaming集成Kafka处理实时数据
摘要：在这篇文章里，我们模拟了一个场景，实时分析订单数据，统计实时收益。 场景模拟 我试图覆盖工程上最为常用的一个场景： 1）首先，向Kafka里实时的写入订单数据，JSON格式，包含订单ID-订单类型-订单收益 2）然后，spark-streaming每十秒实时去消费kafka中的订单数据，并以订单类型 阅读全文
posted @ 2017-10-30 15:46 扎心了老铁 阅读(8785) 评论(1) 推荐(0)
使用spark与MySQL进行数据交互的方法
摘要：在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。 对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。 我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。 1）灵活性高 相 阅读全文
posted @ 2017-10-25 15:32 扎心了老铁 阅读(26281) 评论(3) 推荐(2)
大数据算法设计模式(2) - 左外链接(leftOuterJoin) spark实现
摘要：左外链接(leftOuterJoin) spark实现 阅读全文
posted @ 2017-08-29 18:04 扎心了老铁 阅读(439) 评论(0) 推荐(0)
大数据算法设计模式(1) - topN spark实现
摘要：topN算法，spark实现 阅读全文
posted @ 2017-08-27 00:31 扎心了老铁 阅读(2947) 评论(0) 推荐(0)
使用spark对hive表中的多列数据判重
摘要：本文处理的场景如下，hive表中的数据，对其中的多列进行判重deduplicate。 1、先解决依赖，spark相关的所有包，pom.xml spark-hive是我们进行hive表spark处理的关键。 2、spark-client 3、判重流程 4、运行方式 提交任务脚本 运行： 结果 阅读全文
posted @ 2017-07-22 23:57 扎心了老铁 阅读(1264) 评论(0) 推荐(1)
java spark-streaming接收TCP/Kafka数据
摘要：本文将展示 1、如何使用spark-streaming接入TCP数据并进行过滤； 2、如何使用spark-streaming接入TCP数据并进行wordcount； 内容如下： 1、使用maven，先解决pom依赖 1、接收TCP数据并过滤，打印含有error的行 执行方法 2、接收Kafka数据并 阅读全文
posted @ 2017-07-04 12:48 扎心了老铁 阅读(1105) 评论(0) 推荐(0)
java使用spark/spark-sql处理schema数据
摘要：1、spark是什么？ Spark是基于内存计算的大数据并行计算框架。 1.1 Spark基于内存计算 相比于MapReduce基于IO计算，提高了在大数据环境下数据处理的实时性。 1.2 高容错性和高可伸缩性 与mapreduce框架相同，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2 阅读全文
posted @ 2017-05-22 21:38 扎心了老铁 阅读(11149) 评论(0) 推荐(0)