摘要： #!/usr/bin/env python3# encoding:utf-8import xlrdimport xlwtimport PySimpleGUI as sgimport easygui as egif __name__ == '__main__': msg = "请填写以下信息" tit 阅读全文

摘要： Sub cfb()Dim r, c, i, WJhangshu, WJshu, bt As Longr = Range("A" & Rows.Count).End(xlUp).Rowc = Cells(1, Columns.Count).End(xlToLeft).Columnbt = 1 'tit 阅读全文

摘要： 第一步： 1、对库级别操作 ALTER DATABASE 数据库名 SET CHANGE_TRACKING = ON (CHANGE_RETENTION = 2 DAYS,AUTO_CLEANUP = ON) 2、查看是否生效 SELECT DB_NAME(database_id) DataBase 阅读全文

摘要： spark读取kafka的数据 前期准备：创建一个config.properties 插入： kafka.broker.list=hadoop102:9092,hadoop103:9092,hadoop104:9092 //新建一个kafka的工具类 object MyKafkaUtil { pri 阅读全文

摘要： HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBase特点 （1）海量存储（2 阅读全文

摘要： Fulme定义： Flume是Clourdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flumens基于流式架构，灵活简单。 Flume最主要的作用就是实时读取服务器本地磁盘的数据，将数据传输到HDFS。 Flume的优点： （1）可以和任意存储进程集成。 （2）输入 阅读全文

摘要： kafuka基础架构 kafka的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 消息队列（Message Queue）的两种模式： （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Q 阅读全文

摘要： 定义 SpaekSQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 特点 （1）易整合 （2）统一的数据访问方式 （3）兼容hive （4）标准的数据连接 DataFrame DataFrame是 一个分布式 阅读全文

摘要： 类装载器的分类（ClassLoader）： ①BootStap，根装载器 （类装载器负责加加载class文件，class ②ExtClassLoader，扩展类装载器 文件在开头 有特定的文件表示） ③ApplicationClassLoader，应用类装载器 ④自定义装载器 双亲委派机制：当一个类 阅读全文