摘要：一、python是什么 Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python的设计具有很强的可读性相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。 Python是一种解释型语言,这意味着开发过程中没有了编译这个环节。类似 阅读全文

摘要：Spark 广播变量（broadcast）更新方法更新方法spark 广播变量可以通过unpersist方法删除，然后重新广播 val map = sc.textFile("/test.txt").map(line => { val arr = line.split(",") (arr(0), ar 阅读全文

摘要：一、机器学习的概念 1、什么是学习？ --从人的学习说起 --学习理论；从实践中总结 --在理论上推导；在实践中检验 --通过各种手段获取知识或技能的过程 2、机器怎么学习？ --处理某个特定的任务，以大量的“经验”为基础 --对任务完成的好坏，给予一定的评判标准 --通过分析经验数据，任务完成的更 阅读全文

摘要：一、运行时的组件和基本原理 1、作业管理器 （1）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。 （2）JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（Logical dataflow 阅读全文

摘要：一、先来拜访几位大佬 二、线性代数 1、什么是矩阵？ 矩阵（Matrix）是一个按照长方形阵列排列的复数或实数集合。 矩阵最早来自于方程组的系数及常数所构成的方阵，最初是用来解决线性方程求解的工具。 矩阵是高等代数中常见工具，也常见于统计分析等应用数学学科中，矩阵在物理学和计算机科学中都有应用。 矩 阅读全文