chenghaixinag

摘要： 行动算子 （1） def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContex 阅读全文

摘要： 今天完成学习了一个案例的实践和一些spark算子的学习 （1）join def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator 阅读全文

摘要： 今天继续学习spark双value算子 （1） def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15") val sc 阅读全文

摘要： 今天学习完单value的算子和双value算子的开始 （1）distinct def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Opera 阅读全文

摘要： 今天继续学习sparkRDD的算子 （1）flatMap def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator11") va 阅读全文

摘要： 今天开始学习spark中RDD算子 首先是Value类型 （1）map 练习代码： def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Op 阅读全文

摘要： 今天开始学习spark3大数据结构中的RDD 什么是RDD： RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据 处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行 计算的集合。 RDD有5大核心属性 阅读全文

摘要： 今天继续spark的学习，今天完成了Standalone 模式的配置和在windows上的运行 首先是Standalone 模式 更改spark目录下conf文件中的salves文件，添加内容 更改spark目录下conf文件中的spark-env文件，添加内容 export JAVA_HOME=/ 阅读全文

摘要： 今天接着昨天spark学习 使用spark自己自带的函数完成对文本中的单词统计，昨天代码的进阶版 代码：package com.chenghaixiang.core.wcimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf 阅读全文

摘要： 今天开始学习sqark，主要参考学习的是尚硅谷的sqark教程。 Spark 核心模块 1.在idea中添加scala 因为在idea中添加scala插件下载速度过慢，所以用离线添加 在idea官网插件库中下载scala :https://plugins.jetbrains.com/plugin/1 阅读全文