【Web信息处理】ws02实验--RDD编程环境配置(存在错误)

【Web信息处理】ws02实验--RDD编程

前言

因为环境问题，在windows下配置的jupter notebook怎么都运行不起来。因此到虚拟机内部属ws02实验.

Pip command line “ImportError: No Module Named Typing”

Pip command line “ImportError: No Module Named Typing”

完整配置参考:厦门大学数据库实验室

Hadoop 2.7分布式集群环境搭建

Hadoop 2.7分布式集群环境搭建–厦门大学数据库实验室

Spark2.1.0入门：Spark的安装和使用

Spark2.1.0入门：Spark的安装和使用–厦门大学数据库实验室

步骤一：centos安装jupyter notebook

centos安装jupyter notebook

步骤二：安装java环境

可以参考博主另一篇文章的这一部分：
【阿里云/腾讯云】搭建 Hadoop 伪分布式环境
在这里插入图片描述
3. 安装JDK

  1. 执行以下命令，下载JDK1.8安装包。
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

1

  1. 执行以下命令，解压下载的JDK1.8安装包。
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

1

  1. 执行以下命令，移动并重命名JDK包。
mv java-se-8u41-ri/ /usr/java8
  1. 执行以下命令，配置Java环境变量。
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

在这里插入图片描述

  1. 执行以下命令，查看Java是否成功安装。
java -version

如果返回以下信息，则表示安装成功。
在这里插入图片描述

步骤三：通过特殊工具或拖拽，移动作业文件夹到虚拟机环境

在这里插入图片描述

步骤四：配置jupter notebook

忘记MD5 Sha1吧 从现在开始使用 Bcrypt 和 Argon2i 吧

忘记MD5 Sha1吧 从现在开始使用 Bcrypt 和 Argon2i 吧

Argon2, Memory-hard Hash Function

Argon2, Memory-hard Hash Function
密码如下：

'argon2:$argon2id$v=19$m=10240,t=10,p=8$M5iWUKr6HZ58MNaJMEXHMg$73om6tP5cqlnZkxmbZPhAA'

在这里插入图片描述
按照步骤一的博文进行配置

firewall-cmd --zone=public --add-port=8888/tcp --permanent
systemctl restart firewalld.service

在这里插入图片描述
然后就是打开jupyter notebook的server啦！！

jupyter notebook --allow-root

运行成功
在这里插入图片描述

步骤五:在jupter notebook安装pyspark运行程序

Linux查询端口是否被占用的方法

Linux查询端口是否被占用的方法

Jupyter notebook 的默认路径的修改

Jupyter notebook 的默认路径的修改

进入到jupter notebook内的terminal并安装pyspark
在这里插入图片描述

pip install pyspark

在这里插入图片描述
通过vim修改配置文件,添加如下内容

c.NotebookApp.notebook_dir = '/home/username/Desktop'

在这里插入图片描述

运行结果

可以看到案例一已经 有了运行结果
在这里插入图片描述
案例三报错提示如下,根据报错提示,我们只需要删除已经存在的result文件即可
在这里插入图片描述
另一个报错暂未解决

posted @ 2021-07-31 08:54  flybird2008  阅读(2)  评论(0)    收藏  举报  来源