摘要：
广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式， 对数组的算术运算通常在相应的元素上进行。 如果两个数组 a 和 b 形状相同，即满足 a.shape == b.shape，那么 a*b 的结果就是 a 与 b 数组对应位相乘。这要求维数相同，且各维度的长 阅读全文
posted @ 2026-03-12 15:49 打杂滴 阅读(1) 评论(0) 推荐(0)
2026年3月12日
摘要：
import requestsfrom bs4 import BeautifulSoupimport osfrom urllib.parse import urljoin, urlparseimport timeimport re def sanitize_filename(filename): " 阅读全文
posted @ 2026-03-12 09:58 打杂滴 阅读(3) 评论(0) 推荐(0)
2024年1月3日
摘要：
MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）” 映射和归纳 映射一个映射函数就是对一些独立元素组成的概念上的列表（例如，一个测试成绩的列表）的每一个元素进行指定的操作（比如，有人发现所有学生的成绩都被高估 阅读全文
posted @ 2024-01-03 16:08 打杂滴 阅读(121) 评论(0) 推荐(0)
摘要：
主方法（main）的写法 public static void main(String[] args) { }； public static void main(String args[]) { }； String args[] 与 String[] args 没有区别 String[] args是 阅读全文
posted @ 2024-01-03 11:49 打杂滴 阅读(176) 评论(0) 推荐(0)
摘要：
Java 语言的开发运行，也离不开 Java 语言的运行环境 JRE。没有 JRE 的支持，Java 语言便无法运行。当然，如果还想编译 Java 程序，搞搞小开发的话，JRE 是明显不够了，这时候就需要 JDK。其实啊，JDK 就是 JRE 加上一些常用工具组成的。JDK 不仅能运行已经被编译好了 阅读全文
posted @ 2024-01-03 10:22 打杂滴 阅读(35) 评论(0) 推荐(0)
摘要：
在编写 Java 程序时，随着程序架构越来越大，类的个数也越来越多，这时就会发现管理程序中维护类名称也是一件很麻烦的事，尤其是一些同名问题的发生。有时，开发人员还可能需要将处理同一方面的问题的类放在同一个目录下，以便于管理。 为了解决上述问题，Java 引入了包（package）机制，提供了类的多层 阅读全文
posted @ 2024-01-03 10:20 打杂滴 阅读(167) 评论(0) 推荐(0)
2023年12月28日
摘要：
SparkContext：通往Spark集群的入口点，用于创建RDD和广播变量等 RDD：弹性分布式数据集，Spark应用程序的核心抽象 Transformation：操作RDD生成新的RDD，如map、filter等 Action：对RDD的操作，如count、collect等 args，MAIN 阅读全文
posted @ 2023-12-28 10:49 打杂滴 阅读(258) 评论(0) 推荐(0)
2023年12月27日
摘要：
本实验以通过华为云CDM服务进行数据迁移为例，介绍如何将其他Hadoop集群的历史数据迁移至华为云MRS中，以便获取MRS云服务的诸多特性。 本迁移指导将指导适用于多种不同场景下的HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为实 阅读全文
posted @ 2023-12-27 13:15 打杂滴 阅读(196) 评论(0) 推荐(0)
摘要：
本实验基于DLI环境，以车联网场景驾驶行为数据分析、电商BI报表分析为案例，提供了完整的端到端最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 购买OBS服务 “产品->存储->对象存储服务 OBS”进入OBS页面。 点击“管理控制台” 选择“桶列表->创建桶” 区域：华北-北京四 桶名称 阅读全文
posted @ 2023-12-27 12:41 打杂滴 阅读(159) 评论(0) 推荐(0)
摘要：
本实验基于MRS环境，Impala部分主要介绍基本操作。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程。Flink部分主要介绍如何实现Flink与Kafka的连接以满足实时计算场景应用。 购买MRS集群 选择“自定义购买” 区域：华北-北京四 阅读全文
posted @ 2023-12-27 12:20 打杂滴 阅读(172) 评论(0) 推荐(0)
浙公网安备 33010602011771号