摘要：
Scala中的部分函数和RDD中的部分算子名字一样，功能一样，用起来也差不多。但是为什么一个叫函数，一个却要叫算子，函数和算子的区别在哪，这让我有些好奇。于是查看了源码，对函数和算子进行了比较。下面以map为例。 Scala中的map函数 Scala中的map通常定义在集合类中，例如Map、List 阅读全文
posted @ 2024-04-14 13:00
rusthx
阅读(76)
评论(0)
推荐(0)
摘要：
Spark启动方式有：local模式、standalone模式、Yarn模式、K8S和Mesos模式，本教程只涉及前三种模式，另外两种可以自行查找资料。 Local模式 1.下载Spark https://archive.apache.org/dist/spark/ 由于我的Hadoop版本是3.1 阅读全文
posted @ 2024-03-12 11:04
rusthx
阅读(540)
评论(0)
推荐(0)
摘要：
更新软件包 sudo apt-get update 下载MySQL sudo apt-get install mysql-server 登入MySQL MySQL安装完成后会有默认用户和密码，通过默认的用户和密码登入MySQL后可以新建用户并对该用户赋权 查看默认用户和密码的命令 sudo cat 阅读全文
posted @ 2024-01-04 09:14
rusthx
阅读(461)
评论(0)
推荐(0)
摘要：
前置准备：配置Hive的MySQL连接用户 MySQL的配置可参考我的教程 https://www.cnblogs.com/rustWood/articles/17944516 创建Hive元数据库 create database metastore; 创建用户hive，设置密码为123456 cr 阅读全文
posted @ 2024-01-04 09:13
rusthx
阅读(376)
评论(0)
推荐(0)
摘要：
可视化界面的操作简单易上手，主要是基于Gparted,非常适合新手。但是可视化界面的操作也有无法解决的问题，比如因为某些操作（例如编译系统或者下载大小未知的文件）可能会导致系统磁盘空间被占满从而无法下载GParted甚至无法正常开机的状况，这种时候就要使用命令行的扩容方案。 1.可视化界面操作方案 阅读全文
posted @ 2023-11-24 18:43
rusthx
阅读(5616)
评论(2)
推荐(1)
摘要：
安装依赖 使用以下命令安装依赖 sudo apt-get install build-essential libssl-dev libffi-dev python3-dev python3-pip libsasl2-dev libldap2-dev default-libmysqlclient-de 阅读全文
posted @ 2023-09-28 20:18
rusthx
阅读(1384)
评论(0)
推荐(1)
浙公网安备 33010602011771号