摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合(列表)创建RDD输入列表、字符串、生成数组 (调用SparkContext的parallelize方法) 二、 RDD操作 转换操作 1 阅读全文
posted @ 2022-03-15 19:21 yoke` 阅读(35) 评论(0) 推荐(0)
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark设计遵循”一个软件栈满足不同应用场景“的理念,逐渐形成了一整套完整的生态系统,既能够提供内存计算框架,也可以支持SQL即时查询(Spark SQL)、流计算(Spark St 阅读全文
posted @ 2022-03-15 00:03 yoke` 阅读(122) 评论(0) 推荐(0)