2022年12月11日
Spark源码阅读03：应用程序的执行
摘要： 应用程序的执行 1. 概述 Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源，另一方面根据用户业务逻辑开始调度任务，将任务下发到已有的空闲Executor上 阅读全文
posted @ 2022-12-11 18:37 黄一洋 阅读(19) 评论(0) 推荐(0)
Spark源码阅读04：Shuffle
摘要： Shuffle Shuffle过程中，会等待上游不同分区数据执行完成再进行下一步操作，但是肯定不能在内存中等待，因为数据会大量堆积，所以一定会进行落盘操作！所以提高效率的办法：1）减少落盘的数据量（预聚合）。2）减少落盘的次数 而写磁盘和读磁盘又对应shuffle write和shuffle rea 阅读全文
posted @ 2022-12-11 18:36 黄一洋 阅读(14) 评论(0) 推荐(0)
Spark源码阅读02：组件通信
摘要： 组件通信 使用Socket进行通信性能是很低的，因为它有阻塞的概念 Netty：通信框架，支持 AIO（异步通信） 三种IO通信方式 BIO：阻塞式IO；比如吃面时，只能坐在桌子边等，不能做别的事 NIO：非阻塞式IO；比如吃面时，可以去干别的，然后时不时回来看看面好没 AIO：异步非阻塞式IO；比 阅读全文
posted @ 2022-12-11 18:35 黄一洋 阅读(7) 评论(0) 推荐(0)
Spark源码阅读01：环境准备（Yarn集群）
摘要： 源码阅读目录 1）环境准备（Yarn集群） Driver, Executor 2）组件通信 Driver => Executor Executor => Driver Executor => Executor 3）应用程序的执行 RDD依赖 阶段的划分 任务的切分 任务的调度 任务的执行 4）Shu 阅读全文
posted @ 2022-12-11 18:35 黄一洋 阅读(44) 评论(0) 推荐(0)
2022年12月7日
Spark03 SQL
摘要： 1. 概述 ==Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块== 1.1 历史 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了 阅读全文
posted @ 2022-12-07 15:35 黄一洋 阅读(19) 评论(0) 推荐(0)
2022年12月6日
Spark02 RDD核心编程
摘要： 参考：【尚硅谷 Spark】 ​ 【《大数据处理框架Apache Spark设计与实现》】 ​ 【Spark官方文档】 2. 核心编程 逻辑处理流程 1）数据源 数据源表示的是原始数据，数据可以存放在本地文件系统和分布式系统中，对于流式处理，数据源还可以是网络流等 2）数据模型 我们怎么对数据源进行 阅读全文
posted @ 2022-12-06 17:04 黄一洋 阅读(14) 评论(0) 推荐(0)
Spark01 概览
摘要： 参考：【尚硅谷 Spark】 ​ 【《大数据处理框架Apache Spark设计与实现》】 ​ 【Spark官方文档】 1. 简介 ==Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎== Spark or MapReduce ？ Hadoop的 MR框架 和 Spark框架 都是 阅读全文
posted @ 2022-12-06 17:01 黄一洋 阅读(13) 评论(0) 推荐(0)
2022年12月3日
初识Pr
摘要： Pr教程 参考：【GenJi是真想教会你：90分钟会用Pr】 ==视频制作：前期策划 - 中期拍摄 - 后期剪辑（粗剪-精剪-调色-特效-音频：分别对应Pr的菜单栏）== 第一堂课 视频编码：压缩格式，如 H.264 对应 mp4 Premiere中有遮罩的概念：即视频轨道 上面会对下面产生遮挡 蒙 阅读全文
posted @ 2022-12-03 13:33 黄一洋 阅读(24) 评论(0) 推荐(0)
2022年11月22日
springboot
摘要： 什么是SpringBoot？ 随着 Spring 不断的发展，涉及的领域越来越多，项目整合开发需要配合各种各样的文件，慢慢变得不那么易用简单，违背了最初的理念，甚至人称配置地狱 Spring Boot 正是在这样的一个背景下被抽象出来的开发框架，目的为了让大家更容易的使用 Spring 、更容易的集 阅读全文
posted @ 2022-11-22 17:08 黄一洋 阅读(7) 评论(0) 推荐(0)
2022年11月21日
spring mvc
摘要： 什么是MVC？ MVC是模型(Model)、视图(View)、控制器(Controller)的简写，是一种软件设计规范 是将业务逻辑、数据、显示分离的方法来组织代码 MVC主要作用是降低了视图与业务逻辑间的双向偶合 MVC不是一种设计模式，MVC是一种架构模式。当然不同的MVC存在差异 **Mode 阅读全文
posted @ 2022-11-21 18:26 黄一洋 阅读(9) 评论(0) 推荐(0)