摘要：
作者以一种通俗易懂的语言，向我们揭示了软件架构的本质与核心价值。它并非仅仅是代码堆砌的艺术，而是对系统逻辑、业务需求、性能考量、可扩展性、可维护性等多方面因素进行综合权衡与设计的过程。作者通过生动具体的案例，阐述了良好的架构设计如何影响并决定着项目的成败，使我对架构设计的重要性有了更为深刻的理解。 阅读全文
摘要：
今天继续完成实验 4.实验报告题目： Spark Streaming 编程初级实践 姓名 日期2024.1.13 实验环境：操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 实验内容与完成情况： Flum安装（1）解压安装包 tar -zxvf apac 阅读全文
摘要：
今天继续rddd练习： from pyspark import SparkConf,SparkContext #创建sparkconf对象 conf = SparkConf().setMaster("local[*]").setAppName("test_app") #基于sparkconf对象创建 阅读全文
摘要：
进行了spark的基础学习。 rdd： map计算 rdd = sc.parallelize([1,2,3,4,5]) def func(date): return date*10 rdds=rdd.map(func) #flatMap解除嵌套 rdd = sc.parallelize(["dwad 阅读全文
摘要：
StandAlone HA的原理 基于Zookeeper做状态的维护, 开启多个Master进程, 一个作为活跃,其它的作为备 份,当活跃进程宕机,备份Master进行接管. 为什么需要Zookeeper? 分布式进程是分布在多个服务器上的, 状态之间的同步需要协调,比如谁是master,谁 是wo 阅读全文
摘要：
今天完成了实验spark sql 题目： Spark SQL编程初级实践 姓名 实验环境：操作系统：Ubuntu18.04（或Ubuntu16.04）； Spark版本：3.2.0； Hadoop版本：3.1.3。 Pycharm Anaconda3 实验内容与完成情况： 基本操作 代码（注释操作） 阅读全文
摘要：
Spark程序运行层次结构 4040: 是一个运行的Application在运行的过程中临时绑定的端口,用以查看当前任务的状态.4040被占用会顺延到4041.4042等 4040是一个临时端口,当前程序运行完成后, 4040就会被注销 8080: 默认是StandAlone下, Master角色( 阅读全文
摘要：
今天学习了rdd的过滤和去重： from pyspark import SparkConf,SparkContext #创建sparkconf对象 conf = SparkConf().setMaster("local[*]").setAppName("test_app") #基于sparkconf 阅读全文
摘要：
StandAlone的原理? Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群) Spark角色在StandAlone中的分布？ Master角色:Master进程, Worker角色:Worker进程, Driver角色和Executor角色: 以线程运行在Wo 阅读全文
摘要：
# coding:utf8 # 指定源代码编码格式为UTF-8 from pyspark.sql import SparkSession # 导入SparkSession类，用于创建和管理Spark应用上下文 from pyspark.sql.functions import concat, exp 阅读全文