摘要:
一、安装Spark 1.检查基础环境 启动hdfs查看进程 查看hadoop和jdk环境 2.下载spark 3.配置环境变量 4.启动spark 5.试运行python代码 二、Python编程练习:英文文本的词频统计 1.准备文本文件 从网上下载一篇名为《hamlet》的小说,命名为hamlet 阅读全文
posted @ 2022-03-01 21:01
yoke`
阅读(121)
评论(0)
推荐(0)
摘要:
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 Hadoop的核心组件是HDFS、MapReduce。hadoop生态圈可以根据服务对象和层次分为:数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。 其中HDFS是整 阅读全文
posted @ 2022-03-01 16:38
yoke`
阅读(72)
评论(0)
推荐(0)

浙公网安备 33010602011771号