hjz20050621

摘要： 第12天：Spark GraphX基础 学习目标：掌握图计算基础和图算法。 具体内容： 图计算概念，GraphX图结构（顶点、边）。 创建图（从RDD、从文件），图操作（顶点和边的属性操作，子图）。 常用图算法：PageRank。 练习：使用GraphX构建一个简单的社交网络图（顶点为用户，边为关注 阅读全文

摘要： 第11天：Spark MLlib进阶 学习目标：掌握聚类和推荐系统算法。 具体内容： 聚类算法：K-Means，模型评估。 推荐系统：协同过滤（ALS算法）。 练习：使用K-Means对Iris数据集进行聚类（忽略标签），并查看聚类结果。 任务： 使用ALS算法对MovieLens数据集进行电影推荐 阅读全文

摘要： 第10天：Spark MLlib基础 学习目标：掌握Spark MLlib的特征工程和常用算法。 具体内容： MLlib概述，数据准备（特征提取、转换、选择）。 使用Pipeline构建机器学习流程。 线性回归、逻辑回归算法使用。 练习：使用Spark MLlib的线性回归预测房价（使用示例数据集） 阅读全文

摘要： 第9天：Structured Streaming 学习目标：掌握Structured Streaming编程。 具体内容： Structured Streaming模型（输入表、结果表、输出）。 读取流数据（从Socket、Kafka、文件），基本查询操作。 窗口操作，水印（watermark）处理 阅读全文

摘要： 第8天：Spark Streaming基础 学习目标：理解Spark Streaming原理，掌握DStream编程。 具体内容： 流处理概念，Spark Streaming架构。 DStream的创建（从Socket、Kafka等），转换操作（map、reduceByKey、window）。 输出 阅读全文

摘要： 第7天：Spark SQL 学习目标：掌握Spark SQL和DataFrame的使用。 具体内容： DataFrame的创建（从RDD、从文件、从数据库）。 DataFrame的常用操作：选择列、过滤、分组聚合。 使用SQL查询DataFrame（创建临时视图，使用Spark SQL）。 练习：读 阅读全文

摘要： 第6天：Spark基础 学习目标：了解Spark架构和RDD基本操作。 具体内容： Spark概述，Spark与Hadoop对比，Spark组件。 使用PySpark，创建SparkSession。 RDD的创建（从集合、从文件），转换操作（map、filter、flatMap）和行动操作（coll 阅读全文

摘要： 第5天：Python数据可视化 学习目标：掌握使用Matplotlib和Seaborn进行数据可视化。 具体内容： Matplotlib基本图形绘制（折线图、散点图、柱状图）。 子图绘制，图形标注（标题、坐标轴、图例）。 Seaborn库的使用：绘制统计图形（分布图、箱线图、热力图）。 练习：使用M 阅读全文

摘要： 第4天：Python数据处理库NumPy和Pandas基础 学习目标：掌握NumPy和Pandas的基本操作。 具体内容： NumPy数组的创建、索引、切片、形状操作。 NumPy的通用函数和广播机制。 Pandas的Series和DataFrame的创建和基本操作。 练习：使用NumPy生成一个随 阅读全文

摘要： 第3天：Python面向对象与异常处理 学习目标：理解面向对象编程和异常处理机制。 具体内容： 类和对象的定义，初始化方法（init）。 继承和多态。 异常处理（try-except-else-finally），自定义异常。 练习：定义一个“学生”类，包含姓名、年龄属性，以及一个打印信息的方法。然后 阅读全文