01 2022 档案
摘要：今天学习直播回放，安装了flume和kafka，并学习到了数据分仓的概念，完成了数据生成模块，并完成部分数据采集模块的部署。
阅读全文
摘要：今天学习了sparksql的使用对，对dataframe的使用更加的熟练，能够其函数使用更加熟练使用
阅读全文
摘要：今天完成了spark实验七 一、实验目的 （1） 通过实验掌握基本的 MLLib 编程方法； （2） 掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类 和预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本Spark 版本：2.1.0
阅读全文
摘要：今天完成spark实验六 1. 安装 Flume Flume 是 Cloudera 提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。Flume 的核心是把数据从数据源收集过来，再送到目的地。请到 Flume 官网下载
阅读全文
摘要：今天完成spark基础实验五 一、实验目的 （1）通过实验掌握Spark SQL 的基本编程方法； （2） 熟悉RDD 到DataFrame 的转化方法； （3） 熟悉利用Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0
阅读全文
摘要：今天完成了spark基础实验四， 一、实验目的 （1） 熟悉Spark 的RDD 基本操作及键值对操作； （2） 熟悉使用RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1. spark-shell 交互式编程
阅读全文
摘要：今天学习了sparkRDD的一些基本知识。并学习了钉钉直播回放的项目简介。 Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于 处理不同的应用场景。三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量
阅读全文
摘要：今天学习mapreduce： 切片与 MapTask 并行度决定机制 1）问题引出 MapTask 的并行度决定 Map 阶段的任务处理并发度，进而影响到整个 Job 的处理速度。 思考：1G 的数据，启动 8 个 MapTask，可以提高集群的并发处理能力。那么 1K 的数 据，也启动 8 个 M
阅读全文
摘要：今天学习spark的核心组件和概念，明天继续学习spark，尝试做项目
阅读全文
摘要：今天学习了scala的隐式转换并了解了泛型的上下界规定
阅读全文
摘要：今天学习了scala集合函数的使用和模式匹配。 总结目前学习的聚合函数方法 集合常用函数：head，tail，last，init，reverse，take，takeRight，drop，dropRight，union，intersect，diff，zip，sliding 集合常用函数：length，
阅读全文
摘要：今天学习了scala中集合的基本使用。 学习了scala中数组、列表、set、map、tuple的不可变集合和可变集合的基本用法。 明天会学习常用集合函数的使用及scala的模式匹配。
阅读全文
摘要：今天完成了scala面向对象编程的学习，并学习了scala集合中数组、list等使用。 记录今天学习 Scala 语言中，采用特质 trait（特征）来代替接口的概念，也就是说，多个类具有相同 的特质（特征）时，就可以将这个特质（特征）独立出来，采用关键字 trait 声明。 Scala 中的 tr
阅读全文
摘要：今天学习了scala面向对象编程的特点，并完成了spark基础实验三 一、实验目的 （1） 掌握在 Linux 虚拟机中安装 Hadoop 和Spark 的方法； （2） 熟悉HDFS 的基本使用方法； （3） 掌握使用Spark 访问本地文件和HDFS 文件的方法。 二、实验平台 操作系统：Ubu
阅读全文
摘要：今天做spark基础实验： 实验 2 Scala 编程初级实践 一、实验目的 掌握 Scala 语言的基本语法、数据结构和控制结构； 掌握面向对象编程的基础知识，能够编写自定义类和特质； 掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本层次结构，熟练使用常用的容器类
阅读全文
摘要：今天学习了scala的函数式编程 函数式编程 1 函数基础 1.1 函数基本语法 1）基本语法 2）案例实操 需求：定义一个函数，实现将传入的名称打印出来。 def main(args: Array[String]): Unit = { // （1）函数定义 def f(arg: String):
阅读全文
摘要：今天继续学习scala 今天主要了解了泛型的使用，并且学习了vue，后续会总结vue的学习 1 协变和逆变 1）语法 class MyList[+T]{ //协变 } class MyList[-T]{ //逆变 } class MyList[T] //不变 2）说明 协变：Son 是 Father
阅读全文
摘要：记录今天学习记录： 流程控制 1 分支控制 if-else 让程序有选择的的执行，分支控制有三种：单分支、双分支、多分支 1.1 单分支 1）基本语法 if (条件表达式) { 执行代码块 } 说明：当条件表达式为 ture 时，就会执行{ }的代码。 2）案例 需求：输入人的年龄，如果该同志的年龄
阅读全文
摘要：scala键盘输入 例：StdIn.readLine()、StdIn.readShort()、StdIn.readDouble() 查看方法，scala使用StdIn来调用方法接收用户输入的数据 使用 运行结果： 回忆java的数据类型 Java基本类型：char、byte、short、int、lo
阅读全文
摘要：今天学习scala语言。 记录今天学习笔记： scala与java的关系 scala语言特点： Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的 静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）。 1）Scala
阅读全文
摘要：今天学习了spark运行结构的一些基本知识，同时学习了springboot后端框架的使用 记录今天学到的spark运行结构的知识： Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Dr
阅读全文
摘要：今天继续对外包杯项目第一阶段进行编程，因为对于MATLAB的语法使用不是很熟练，所以还是先学了一些语法知识。 同时今天主要学习了scala的一些基本知识。 记录其中数据类型和转义字符 scala的数据类型： 可以在菜鸟课程上学习。 scala的转义字符： 总之今天学了一些scala的语言，一定程度上
阅读全文
摘要：今天基于外包杯项目需要，学习了MATLAB相关的技术，对于图片数字识别的技术，具体不多说了。 今天主要进行spar运行k环境搭建，scala语言的相关使用后续继续学习 首先需要下载spark的包，这里我是根据尚硅谷的视频进行环境配置，所以直接使用尚硅谷给的资料中spark3的包，版本：spark-3
阅读全文
摘要：今天进行了外包杯项目动员会，对项目第一阶段的目标进行了明确，开始对外包杯项目第一阶段进行冲刺。 开始针对训练数据进行编程。 同时今天进行了Scala环境的搭建： 到官方下载Scala的包，这里我选的是Scala2.12.11，下载的是Windows的 下载地址：https://www.scala-l
阅读全文
摘要：因为最近准备对折线图、曲线图进行坐标读取，所以使用python调用MATLAB进行尝试，但在此过程出现报错： 我使用的MATLAB2017b不支持python3.8版本。 解决方法： 我选择在anaconda中创建一个虚拟环境。 如下： 因为最高支持3.6的版本，所以创建一个3.6版本的 打开pyc
阅读全文
浙公网安备 33010602011771号