大数据开发程序猿

摘要： SparkSQL 该模块能在spark上运行sql语句 DataFrame //数据框，相当于mysql中的表 使用类似SQL的方式来访问hadoop,实现MR计算。RDD df = sc.createDataFrame(rdd); DataSet<Row> ==DataFrame >//类似于ta 阅读全文

摘要： 0.spark transformation map filter repartition spark核心API [SparkContext] 连接到spark集群上的入口点 [HadoopRDD] 读取hadoop上的数据 [MapPartitionsRDD] 针对父RDD的每个分区提供了函数，构 阅读全文

摘要： 1.spark模块 (1)Spark Core //核心库 (2)Spark SQL //核心库 (3)Spark Streaming //准实时计算 (4)Spark MLlib //机器学习库 (5)Spark graph //图计算 2.Spark集群的运行 1.local //本地模式 2. 阅读全文

摘要： 解决方法：在sbin目录下的spark-config.sh 中添加对应的jdk 路径，然后使用scp -r 命令复制到各个worker节点 阅读全文

摘要： Spark 1.Lighting-fast cluster computing 快如闪电的计算 2.大规模快速通用的计算引擎 3.spark在内存中计算的速度是hadoop的百倍；在磁盘中计算是MapperReduce的10倍 4.DAG: //direct acycle graph，有向无环图 5 阅读全文

摘要： 一、高阶函数 1.作为值的函数：在Scala中，函数是头等公民，就和数字一样。 对函数能够干什么呢？调用它以及传递它 2.匿名函数 在scala中，不需要给每一个函数来进行命名，正如不需要给每个数字命名一样，以下是一个匿名函数 f1:add f2:sub //遍历数组值，输出元素值，每个元素平方返回 阅读全文

摘要： 1.trait 如果只有一个trait就使用extends进行扩展，如果是多个，就使用with对生于trait进行扩展 //trait之间也存在扩展 trait logger2 extens logger1{} //with trait 是需要对每个trait都使用trait 自身类型 this:类 阅读全文

摘要： 一、这段时间在学校，把之前的东西都好好捡起来。 0.下面介绍Mysql的最基本的增删改查操作，很多IT工作者都必须掌握的命令，也是IT面试最常考的知识点。在进行增删改查之前，先建立一个包含数据表users的数据库。 1.JDBC:java database connection，java数据库连接 阅读全文

摘要： SSM java web 框架 spring //业务层框架 spring MVC //开发web程序应用的模块model+ view +controller模块化编程。模型视图控制器展现部分放到一个模块中去，控制的部分放到一个文件中去，数据部分放到一个数据模块中去。当改变数据的时候前面的状态会有变 阅读全文

摘要： 最近刚开始学习maven工具，下载解压完毕，环境变量配置完毕，运行如下命令尝试快速构建一个maven项目： mvn archetype:generate 结果就有问题： [INFO] Scanning for projects...Downloading: http://repo1.maven.or 阅读全文