大数据系列教程 —— 目录

文章目录

• • 编程语言基础
  • Linux 基础
  • 环境搭建
  • Hadoop
  • Hive
  • Scala
  • Spark
  • • Spark Core
    • Spark SQL
    • Spark Streaming
  • 🎈问题随记
  • • 环境搭建
    • • MySQL 搭建
    • Hadoop
    • • MapReduce
    • Hive

编程语言基础

Linux 基础

内容	链接
CentOS 安装	大数据环境搭建 —— CentOS 安装
工具获取 — XShell	Linux基础 —— XShell 免费获取指南
MySQL 安装	Linux基础 —— CentOS7 离线安装 MySQL

环境搭建

内容	链接
VMware 安装	大数据环境搭建 —— VMware Workstation 安装
CentOS 安装	大数据环境搭建 —— CentOS 安装
MySQL 安装	Linux基础 —— CentOS7 离线安装 MySQL

Hadoop

内容	链接
Hadoop 概述	大数据随记 —— Hadoop 概述
Hadoop 环境搭建	大数据随记 —— Hadoop 环境搭建
WordCount 案例	大数据随记 —— WordCount 案例

Hive

内容	链接
Hive 安装	大数据随记 —— Hive 安装

Scala

内容	链接
Scala 基本环境搭建	大数据随记 —— Scala 环境搭建、插件安装

Spark

内容	链接
Spark 基本配置	大数据随记 —— Spark 基本安装及相关配置

Spark Core

内容	链接
Spark Core 与 RDD 简介]	大数据随记 —— Spark Core 与 RDD 简介
RDD 的创建	大数据随记 —— RDD 的创建

Spark SQL

内容	链接
DataFrame 的创建与 Maven 配置	大数据随记 —— DataFrame 的创建与 Maven 配置
DataFrame 数据操作	大数据随记 —— DataFrame 数据操作

Spark Streaming

🎈问题随记

环境搭建

MySQL 搭建

序号	链接
1	【缺少包】/usr/bin/perl is needed by MySQL-server-5.1.73-1.glibc23.x86_64
2	【包冲突】file /usr/share/mysql/charsets/README from install of MySQL-server-5.1.73-1.glibc23.x86_64 c
3	MySQL 只能远程登录，不能本地登录

Hadoop

MapReduce

序号	链接
1	【java.lang.ClassCastException】org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.IntWritable

Hive

序号	链接
1	Cannot resolve org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde