Spark计算引擎实战汇总

文章目录

• • 一.安装
  • 二.理论基础
  • 三.实战
  • • 2.1 hbase
    • 2.2 sql
    • 2.3 机器学习
    • 2.4 Graphx
    • 2.5 报错
  • 四.源码

一.安装

• Spark介绍系列02–安装集群:https://limeng.blog.csdn.net/article/details/82803783
• hive on spark安装:https://limeng.blog.csdn.net/article/details/71023759

二.理论基础

• Dataflow Model总结:https://limeng.blog.csdn.net/article/details/109059655
• Spark介绍系列01:https://limeng.blog.csdn.net/article/details/82803787
• Spark介绍系列03–RDD:https://limeng.blog.csdn.net/article/details/82803791
• Spark介绍系列04–RDD:https://limeng.blog.csdn.net/article/details/82803795
• Spark介绍系列05–RDD:https://limeng.blog.csdn.net/article/details/82803799
• SparkRDD 原理及源码:https://limeng.blog.csdn.net/article/details/120814044
• Spark REPL:https://limeng.blog.csdn.net/article/details/109953862
• Pregel模型原理：https://limeng.blog.csdn.net/article/details/107294342

三.实战

2.1 hbase

• 导入hbase01:https://limeng.blog.csdn.net/article/details/80151045
• 导入hbase02-spark:https://limeng.blog.csdn.net/article/details/80655829

2.2 sql

• SparkSql系列–需求01：https://limeng.blog.csdn.net/article/details/80045003
• SparkSql系列–需求02：https://limeng.blog.csdn.net/article/details/80045208

2.3 机器学习

• Spark-线性回归示例01:https://limeng.blog.csdn.net/article/details/91541736

2.4 Graphx

• Spark-Graphx系列-基础用法:https://limeng.blog.csdn.net/article/details/106615185
• Spark 图计算实战:https://limeng.blog.csdn.net/article/details/112392903

2.5 报错

• Spark2.4.0-CDH6.3 错误解决过程：https://limeng.blog.csdn.net/article/details/103685093
• Hive on Spark 报错：https://limeng.blog.csdn.net/article/details/82803698
• Spark报错系列01：https://limeng.blog.csdn.net/article/details/87189441

四.源码

• spark源码系列01-Woker启动Executor过程并向Driver注册：https://limeng.blog.csdn.net/article/details/82803800
• Spark源码系列02-SparkContext：https://limeng.blog.csdn.net/article/details/82803803
• spark源码系列03-任务提交01：https://limeng.blog.csdn.net/article/details/82803794
• Spark源码系列03-任务提交02：https://limeng.blog.csdn.net/article/details/82803802