05 2020 档案
摘要：概述 GNU C Compiler 流程 预处理，生成.i文件（中间文件，看不到） 编译，生成.s文件（中间文件，看不到） 汇编，生成.o文件 链接，生成可执行文件 参数 -E：预处理 -S：预处理，编译 -c：预处理，编译，汇编 -o：预处理，编译，汇编，链接 -g：生成调试信息 -std=c99
阅读全文
摘要：原理 静态代理=代理模式 动态代理=代理模式+反射 代理模式可以在不修改被代理对象的基础上，通过扩展代理类，进行一些功能的附加与增强 代理类和被代理类应该共同实现一个接口，或者是共同继承某个类 静态代理是事先定义好的，当需要附加的功能较多时，或代理的类较多时，代码量也会随之增大 通过动态代理，代理类
阅读全文
摘要：（一）IoC/DI 功能 配置解析：将配置文件解析为BeanDefinition结构，便于BeansFactory创建对象 对象创建：BeansFactory 根据配置文件通过反射创建对象，所有类对象都在一个工厂类中创建，采用反射机制动态加载类，避免代码膨胀 对象生命周期管理：在 BeanDefin
阅读全文
摘要：背景 一种数据类型，和class平级 JDK 1.5 后可用 类比：贴标签 注解是用来解释代码的元数据，但不是注解的代码本身的一部分，对代码运行效果没有直接影响 提取和处理Annotation的代码统称APT（Annotation Proccesing Tool） 应用 提供信息给编译器：检查错误信
阅读全文
摘要：什么是实时计算 离线计算：批处理，代表MapReduce、Spark Core，采集数据Sqoop、Flume 实时计算：源源不断，代表Storm等，采集数据Flume 框架 Apache Storm Spark Streaming：把流式数据转换成离散数据，本质是离线计算 JStrom：阿里基于S
阅读全文
摘要：按数据结构 B树索引 数据位于叶子节点，到任何一个叶子节点的距离相同，一般不超过3-4层 B+树索引：每个叶子节点除了数据还存放前后叶子节点的指针，方便快速检索，是InnoDB采用的索引结构 Hash索引 对数据建立Hash表，数据本身无序存储 LSM树索引 所有写操作先进入内存中的分段，排序合并后
阅读全文
摘要：词频统计（word count） 一篇文章用哈希表统计即可 对互联网所有网页的词频进行统计（Google搜索引擎的需求），无法将所有网页读入内存 map：将单词提取出来，对每个单词输入一个<word,1>这样的<k,v>对，进而将相同的数据放在一起，形成<word,<1,1,1,...>>这样的<k
阅读全文
摘要：什么是Memcache Redis的前身 严格来说只能叫缓存，不支持持久化，停电后数据丢失 Strom、Spark Streaming实时计算的结果一般会保存在Redis中 JDBC是性能瓶颈 关系型数据库将数据缓存到内存数据库 服务器端先访问内存数据库，有数据就直接返回，否则通过JDBC访问数据库
阅读全文
摘要：为什么用Redis 是什么 一个小程序 缓存 & 数据库 单线程worker 新版本：IO threads epoll：多路复用 与Memcache区别 支持持久化：RDB快照、AOF日志 丰富的数据类型 速度 硬盘：寻址时间ms，带宽（吞吐）百兆~G/s（固态硬盘pci-e nvme） 内存：寻址
阅读全文
摘要：什么是Flume 采集日志，存在HDFS上 分布式、高可用、高可靠的海量日志采集、聚合和传输系统 支持在日志系统中定制各类数据发送方，用于收集数据 支持对数据进行简单处理，写到数据接收方 组件 source：数据的来源 avro：接收另一个flume的数据 taildir：监控不断追加的日志文件 c
阅读全文
摘要：什么是Sqoop 数据交换工具（ETL）：RDBMS（MySQL、Oracle等）<-->Sqoop<-->HDFS（HBase、Hive等） 基于JDBC 执行数据交换时，本质是执行一个MapReduce 安装 tar -zxvf sqoop-1.4.5.bin__hadoop-0.23.tar.
阅读全文
摘要：简介 基于HDFS的数据仓库工具 基于HDFS上的数据分析引擎 2.x 前：SQL > Hive > MapReduce 2.x 后：推荐执行引擎为 Spark 支持SQL子集 架构 执行方式：CLI、JDBC、HWI（推荐HUE） Hive元信息：表名、列名、列的类型、分区、桶，存储在MySQL中
阅读全文
摘要：整体架构 数据类型 文本类：CHAR、VARCHAR（可变长度字符，多使用）、TEXT、LONGTEXT（文本较大时使用） 数字类：TINYINT、INT、BIGINT、FLOAT、DOUBLE 日期类：DATE、DATETIME（常用）、TIME、YEAR 保留字 SELECT：选择列 WHERE
阅读全文
摘要：分钱问题 100个人，初始每人100块钱，每轮每人将1元随机分给另一个人，若干轮过后，100个人的财富分布情况会怎样 画布的原点在左上角，y轴向下 AlgoVisHelper.java 1 import java.awt.EventQueue; 2 import java.util.Arrays;
阅读全文
摘要：库 swing awt 过程 创建窗口JFrame JFrame-->MenuBar-->Container 屏幕坐标系：左上角为原点 Graphics2D Main.java 1 import java.awt.EventQueue; 2 import javax.swing.JFrame; 3
阅读全文
摘要：NoSQL数据库 关系型数据库：用表格的行-列来保存数据，OLTP，写入多，行式存储 非关系型数据库：只用来存储数据，业务逻辑由应用程序处理，OLAP，查询多，列式存储 常见NoSQL数据库 Redis：基于内存的NoSQL数据库 MongoDB：基于文档型（BSON）的NoSQl数据库 设计一个数
阅读全文
摘要：进程 Linux是多用户系统，多个用户可以在不同地方通过网络连接到一个Linux系统上进行操作 w：显示登录人员信息 date：显示当前日期、时间和时区 up：从开机登录到现在经过的时间 load average：系统平均负载（5,10,15分钟） 用户登录列表 ps：显示当前系统中的进程（当前运行
阅读全文
摘要：Shell Shell 是管理命令行的程序（包在内核外的壳） 不同Shell版本演化关系如下，一般Linux中会自动安装Sh和Bash（Bash比Sh好写，Zsh最好用） .bashrc：Bash 的配置文件 安装Ksh sudo apt install ksh 切换Shell chsh 运行脚本（
阅读全文
摘要：要求 贪心算法与动态规划的关系 给定一组区间，最少删除多少个区间，可以让这些区间之间互相不重叠 给定区间的起始点永远小于终止点 示例 [[1,2],[2,3],[3,4],[1,3]], 返回1 [[1,2],[1,2],[1,2]], 返回2 思路 等价为最多保留多少个区间 暴力：找出所有子区间的
阅读全文
浙公网安备 33010602011771号