大数据学习指导手册

一、课程地址

  1. 厦门大学数据库实验室
    http://dblab.xmu.edu.cn/

  2. 《大数据技术原理与应用》教材官网
    http://dblab.xmu.edu.cn/post/bigdata/

  3. 《大数据基础编程、实验和案例教程》教材官网
    http://dblab.xmu.edu.cn/post/bigdatapractice/
    注：推荐教材

  4. 大数据Linux实验环境虚拟机镜像文件
    http://dblab.xmu.edu.cn/blog/1645-2/
    镜像地址：https://pan.baidu.com/s/1kUWaNWz#list/path=%2F
    Visual box 5.2+ubuntu 14.06.04

  5. 林子雨编著《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南
    http://dblab.xmu.edu.cn/post/5663/
    重要网页，包含软件下载地址与编程实践指南两部分内容。

  6. 配套大数据软件下载地址
    https://pan.baidu.com/s/1ZuY142dtMERuh4vfliAgJg#list/path=%2F
    提取码：gx0b

  7. 林子雨主讲入门级大数据在线课程(包含课程视频)
    http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

  8. 大数据技术原理与应用 第二章 大数据处理架构Hadoop 学习指南
    http://dblab.xmu.edu.cn/blog/285/

  9. hadoop单机版与伪分布式安装步骤
    http://dblab.xmu.edu.cn/blog/install-hadoop/

  10. eclipse mars下载地址
    https://www.eclipse.org/downloads/packages/release/mars/2

  11. hadoop集群安装步骤
    http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

  12. ssh加密原理学习贴：
    https://www.cnblogs.com/linzetong/p/10382432.html
    https://www.cnblogs.com/pcheng/p/9629621.html
    https://blog.csdn.net/udeankyd/article/details/81059704
    https://blog.csdn.net/a1510841693/article/details/83743989

  13. 大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南
    http://dblab.xmu.edu.cn/blog/290-2/

  14. 大数据原理与应用 第四章 分布式数据库HBase 学习指南
    http://dblab.xmu.edu.cn/blog/install-hbase/

  15. Hbase原理、基本概念、基本架构
    https://blog.csdn.net/woshiwanxin102213/article/details/17584043

  16. 使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS(实验报告7)
    http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

  17. 林子雨编著《大数据技术原理与应用》教材配套上机练习题目
    http://dblab.xmu.edu.cn/post/5645/
    注：与书本课后实验对应，但是格式不一样，从学生角度出发。

  18. 厦门大学林子雨编著《大数据技术原理与应用》教材配套机房上机实验指南
    http://dblab.xmu.edu.cn/post/6131/
    注：与书本课后实验一致

  19. PPT下载
    http://dblab.xmu.edu.cn/post/5633/

  20. 中国大学mooc（hadoop）（未开课，不能看）
    http://www.icourse163.org/course/XMU-1002335004

  21. 网易云课堂（hadoop）
    https://study.163.com/course/courseMain.htm?courseId=1002887002&trace_c_p_k2=036309fb1fd04d16bad3fad81fe6e28a#/courseDetail?tab=1

  22. 林子雨Spark教材官网
    http://dblab.xmu.edu.cn/post/spark/
    包含实验指南网址

  23. 子雨大数据之Spark入门教程（Scala版）（教材文字版-简化版本）
    http://dblab.xmu.edu.cn/blog/spark/
    主要的学习材料

  24. Scala安装（实验报告1）
    http://dblab.xmu.edu.cn/blog/929-2/

  25. scala下载地址
    https://www.scala-lang.org/download/2.11.8.html
    https://www.scala-sbt.org/download.html

  26. Spark安装(实验报告2)
    http://dblab.xmu.edu.cn/blog/1307-2/

  27. 使用Eclipse编写Spark应用程序（Scala+SBT）
    http://dblab.xmu.edu.cn/blog/1490/

  28. 网易云课堂（spark）
    https://study.163.com/course/introduction/1005031005.htm

  29. 中国大学mooc(spark)
    http://www.icourse163.org/course/XMU-1205811805

  30. 教材百度网盘
    https://pan.baidu.com/s/1l80bqAUpvnFTMNRHEyODeQ#list/path=%2F
    提取码：vdgm

  31. ppt下载
    http://dblab.xmu.edu.cn/post/7659/#kejianxiazai

  32. 在集群上运行Spark应用程序
    http://dblab.xmu.edu.cn/blog/1217-2/

  33. Spark 2.0分布式集群环境搭建
    http://dblab.xmu.edu.cn/blog/1187-2/

  34. Spark快速入门指南 – Spark安装与基础使用
    http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/

  35. 网易云课堂视频（spark）
    https://study.163.com/course/introduction.htm?courseId=1005031005#/courseDetail?tab=1

二、hadoop实验报告

1、实验报告1：

2019/10/3 ubuntukylin16.04(Original) 原始安装盘
2019/10/3 ubuntukylin16.04(1) = ubuntukylin16.04(Original)+安装vmware-tools

2、实验报告2：

2019/10/3 ubuntukylin16.04(2) = ubuntukylin16.04(1)+ssh
2019/10/5 ubuntukylin16.04(3)=ubuntukylin(2)+jdk
2019/10/5 ubuntukylin16.04(4)=ubuntukylin(3)+hadoop(单机版)
2019/10/14 ubuntukylin16.04(5)= ubuntukylin16.04(4)+伪分布配置

3、实验报告3：

2019/10/25 master= ubuntukylin16.04(4)+集群配置
2019/10/25 slave1= ubuntukylin16.04(4)+集群配置

4、实验报告4：

2019/11/5 ubuntukylin16.04(5.5)= ubuntukylin16.04(5)+eclipse（在线安装）
内容：1）基于ubuntu(5)版本，安装eclipse,形成5.5版本。
2）基于ubuntu(5.5)版本，完成shell HDFS练习。
3）基于ubuntu(5.5)版本，基于eclipse完成HDFS程序开发。
备注：离线安装eclipse-java-mars-2-linux-gtk-x86_64.tar.gz，非常卡，几乎不能使用，故改为在线安装方式，版本号为3.8.1

5、实验报告5：

2019/11/03 ubuntukylin16.04(6)=ubuntu16.04(5)+hbase+hbase单机版配置
2019/11/03 ubuntukylin16.04(7)=ubuntu16.04(6)+hbase伪分布式版配置
内容：1）基于ubuntu(5)版本，完成HBASE单机版配置,形成ubuntu(6)版本。
2）基于ubuntu(6)版本，完成HBASE伪分布式配置，形成ubuntu(7)版本。
3）基于ubuntu(7)版本，完成HBASE SHELL命令练习。

6、实验报告6：

2019/11/03 ubuntukylin16.04(8)= ubuntukylin16.04(7)+eclipse（在线安装）+HBASE实例程序
内容：
1）基于ubuntu(7)版本，在线安装eclipse，形成ubuntu(8)。
2）基于ubuntu(8)版本，完成eclipse HBASE编程实践。

7、实验报告7

2019/12/15 ubuntukylin16.04(9)= ubuntukylin16.04¬(8)+ hadoop-eclipse-kepler-plugin-2.6.0.jar
内容：1）基于ubuntu(8)版本，安装eclipse插件,形成ubuntukylin16.04(9)版本。
2）基于ubuntu(9)版本，完成eclipse MapReduce程序开发。

三、Spark实验报告

1、实验报告1：安装scala

2020/2/7 ubuntukylin16.04(10)= ubuntukylin16.04(4)+scala-2.11.8

内容：1）基于ubuntukylin16.04(4)版本，安装scala-2.11.8,形成ubuntukylin16.04(10)
参照http://dblab.xmu.edu.cn/blog/spark/的快学scala部分，完成实例练习。

2、实验报告2：安装spark

2020/2/10 ubuntukylin16.04(11)=ubuntukylin16.04(10)+spark2.1.0+sbt0.13.15

内容：参考http://dblab.xmu.edu.cn/blog/1307-2/ ,基于ubuntukylin16.04(10),安装spark2.1.0和sbt0.13.15

四、Enjoy！

posted @ 2020-03-29 09:35  那个白熊  阅读(472)  评论(0)    收藏  举报