摘要：
这几天，读了一篇系列文章《架构漫谈》，其中通俗易懂的语言，风趣幽默的风格，形象明了的对比形式让我对架构有了更进一步的了解。 首先，第一个问题什么是架构？ 架构，英文的定义是： Architecture (Latin architectura, from the Greek ἀρχιτέκτων ar 阅读全文
2024年3月1日 #
2024年1月18日 #
摘要：
编程实现利用 DataFrame 读写 MySQL 的数据 （1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含如表 6-2 所示的 两行数据。 表 6-2 employee 表原有数据 （2）配置 Spark 通过 JDBC 连接数据库 MySQL，编程实 阅读全文
2024年1月17日 #
摘要：
Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "n 阅读全文
2024年1月16日 #
摘要：
对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 20170104 y 201701 阅读全文
2024年1月15日 #
摘要：
（1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件 test.txt，并在该文件中随便输入一些内容，然后上传到 HDFS 的“/user/hadoop” 目录下； （3 阅读全文
2024年1月14日 #
摘要：
1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 为 ex 阅读全文
2024年1月13日 #
摘要：
from pyspark import SparkConf,SparkContext#创建sparkconf对象conf = SparkConf().setMaster("local[*]").setAppName("test_app")#基于sparkconf对象创建sparkContext对象s 阅读全文
2024年1月11日 #
摘要：
今日开始实验1-Linux系统的安装和常用命令-题目-厦门大学-林子雨-Spark编程基础（Scala版） 安装 Linux 虚拟机 使用 Linux 系统的常用命令 在 Windows 系统和 Linux 系统之间互传文件 阅读全文
2024年1月4日 #
摘要：
第一次看《代码大全》的时候，收获并不大。当第二次在项目中，应用到代码大全的知识。Debug的时候、重构代码的时候，写伪代码的时候，将代码写在一个个的子程序中的时候。似乎对书中的知识理解的透彻很多。 将代码写在子程序的另外一个好处是，有时候你会发现以前没有发现过的事物的本质。——>你对程序理解的更加透 阅读全文
2023年12月30日 #
摘要：
第三章 认识你的大脑 R 型对直觉，问题解决和创造性非常重要，L 型让你细致工作并实现目标。 人类具有超强的感知能力，其中许多无法有效地用语言表达。例如，你可以立刻认出大量熟悉的人的面孔，无论他们是否改变了发型、穿着，或者肥了10磅，还是过了20年。 但是，尝试描述你最亲密爱人的脸庞，你会觉得有心无 阅读全文