打赏

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)

 

 

 

 

 

  不多说,直接上干货!

 

  

前言

    其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来。

  本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。

 

 

 

  好一段时间之前,写过这篇博客

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)

 

 

  最近开始进行更新,希望能帮助到开发的你。

 

 

 

 

下载源码

  去github官网 下载

 

 

 

 

 

 

 

 

 

   spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse适用)(以spark2.2.0源码包为例)

  然后解压缩为目录,scalaIDE不支持tgz的文件关联,只支持jar,zip。

  那么就 使用文件目录关联就可以了,关联spark2.0的目录就可以了,很简单。

 

 

   比如,我这里放在D:\SoftWare

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  我这里为了区分,自己改名为spark-2.2.0-src

 

 

 

 

spark最新源码下载并导入到开发环境下助推高质量代码(IntelliJ IDEA适用)(以spark2.2.0源码包为例)

     前期博客,见

如何在IDEA里给大数据项目导入该项目的相关源码(博主推荐)(图文详解)

 

 

 

 

 

 

 

 

 

 

 方式1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 方式2

    如果是maven方式来导入源码的话

 

 

 

 

点击进去,为什么会报红错误,maven没改

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       所以,个人建议,还是maven方式好啊

 

 

 

 

 

 

 

 

 方式3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    如果是Scala IDEA for Eclipse,则比如把spark-1.6.1

 

 

 

 

 

 

 

 

 

         

          经过解压,我这里特意改下名字,为spark-1.6.1-src

 

 

 

 

 

 

 

 

 

 

 

                注意:这不局限于spark,比如Hadoop、Hive、HBase....等其他大数据组件的源码一样的步骤,这里不多赘述。当然其他人肯定也有其他的步骤来阅读。

          比如,说在IDEA里可以直接点击进去,maven会自动下载等,这个我不多评论。

 

posted @ 2017-08-31 11:16  大数据和AI躺过的坑  阅读(...)  评论(...编辑  收藏