摘要： Flink JobManager架构原理的核心是JobMaster和ResourceManager，其中JobMaster负责任务的调度和监控，ResourceManager负责集群资源的管理。JobMaster和ResourceManager之间通过RPC通信进行交互。JobMaster主要负责以 阅读全文

摘要： 今天开始复习软件设计，先是UML的基础知识 在UML中存在两种建模机制：静态建模机制和动态建模机制。 当我们在实际的应用中使用面向对象的设计和分析方法时，一般遵循的步骤是： 第一步，描述需求； 这个步骤一般产生用例图。 第二步，根据需求建立系统的静态模型，构造系统的结构； 这个步骤产生：类图，对象图 阅读全文

摘要： def Get_Detail(Details_Url): Detail_Url = Base_Url + Details_Url One_Detail = requests.get(url=Detail_Url, headers=Headers) One_Detail_Html = One_Deta 阅读全文

摘要： 使用DataFrame有两个方式,分别是 SQL语法和DSL语法➢ SQL语法 1. 通过 "临时视图" 来使用,所以先创建视图 2. 通过 sparkSession对象执行sql进行数据查询 scala> df.createOrReplaceTempView("user") //创建临时视图 sc 阅读全文

摘要： 栈相对于是一个容器，而这个容器里包含的是一些元素（这些元素的数据类型可以整型、浮点型、字符型等）。同时，栈是保证元素后进先出关系的结构。例如，我们把几本书叠在一起，最上面的书也就是最后放上去的，我们要拿最下的面的书也只有先拿最上面的书，这满足了栈这种“后放先拿”的特性；又例如，做数学题时，遇到推导进 阅读全文

摘要： Sqoop 命令Sqoop 支持 HDFS 和 Hive 之外的其他导入目标。Sqoop 还可以将记录导入到 HBase 中的表中。参数名称 参数含义--column-family <family> 设置导入的目标列族--hbase-create-table 如果指定，则创建缺少的 HBase 表- 阅读全文

摘要： RabbitMQ 是一个开源的消息代理软件，它实现了高级消息队列协议（AMQP）标准。它的官方客户端提供了多种编程语言的接口，包括 Python、Java 和 Ruby 等。它支持消息的持久化、多种交换机类型、消息通知机制、灵活的路由和安全机制等。二、RabbitMQ 工作原理RabbitMQ 是由 阅读全文

摘要： 今天老师布置了UML的类图，用例图，活动图，时序图等，总结了以下内容。 类图（Class Diagram）是面向对象系统建模中最常用和最重要的图，是定义其它图的基础。主要是用来显示系统中的类、接口以及它们之间的静态结构和关系的一种静态模型，是唯一的可以直接映射到面向对象语言的图。类图的绘制主要包括类 阅读全文

摘要： JFinal 是一款基于 Java 语言的轻量级、高性能的 MVC 框架，它在功能上延续了传统的 Java Web 开发框架的优点，同时也具有简洁的设计和强大的扩展性。以下是 JFinal 框架的主要功能和特点： MVC 架构： JFinal 遵循经典的 MVC（Model-View-Control 阅读全文

摘要： 普通创建：hadoop fs -mkdir /xiaolin递归创建：hadoop fs -mkdir -p /xiaolin/xiaoyin2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）mkdir xuan.txthadoop fs -moveFromLocal xuan. 阅读全文