jy-all-bug

摘要： 1.local模式基本原理 本质：启动一个JVM Process进程（一个进程里面有多个线程），执行任务tasklocal模式可以限制模拟spark集群环境的线程数量，即local[N]或local[*]其中N代表可以使用N个线程，如果不指定N，默认是1个线程如果是local[*], 则代表Run 阅读全文

摘要： 题目： 实验七 姓名 日期：12.4 实验环境：（1）操作系统：Linux（centos）； （2）Spark版本：2.4.0； （3）Hadoop版本：3.1.3。 实验内容与完成情况：（1）Spark读取文件系统的数据 （1）在spark-shell中读取Linux系统本地文件“/home/ha 阅读全文

摘要： spark的架构角色 yarn角色回顾 资源管理层面： 1.集群资源管理者（master）：ResourceManager 2.单机资源管理者（worker）：NodeManager 任务计算层面： 单任务管理者（master）：ApplicationMaster 单任务执行者（worker）：Ta 阅读全文

摘要： .spark运行模式 本地模式（单机）：开发和测试；以一个独立的进程，通过其内部的多个线程来模拟整个spark运行时环境standlone模式（集群）：spark中的各个角色以独立进程的形式存在，并组成spark集群环境Hadoop yarn模式（集群）：spark中的各个角色运行在yarn的容器内 阅读全文

摘要： spark框架模块 spark core：spark的核心 sparksql：结构化数据的处理 spark streaming：流式计算功能 mllib：机器学习 graphx：图计算 阅读全文

摘要： Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行速度也能快十倍；容易使用：Spark支 阅读全文

摘要： Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处理的应用场景。 回顾Hadoop的工作流程，可以发现Hadoop存在如下一些缺点： 表达能力有限 阅读全文

摘要： sparkde四大特点 速度快：比hadoop的mapreduce快100倍；spark处理数据时，可以将中间处理结果存储到内存中；spark提供了非常丰富分算子，可以做到复杂任务在一个spark程序中完成易于使用通用性强：spark提供了spark sql、spark streaming、mlib 阅读全文

摘要： spark和Hadoop的对比 hadoop spark 1类型 基础平台，包含计算，存储，调度 纯计算工具场景 海量数据处理（磁盘迭代计算） 海量数据处理（磁盘迭代计算、交互式计算），海量数据流计算价格 对机器需求低，便宜 堆内存有要求，较贵编程范式 map+reduce，api较为底层，算法适应 阅读全文

摘要： spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎 特点：对任意数据类型的数据进行自定义计算 Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R 阅读全文