cxc1357

摘要： 什么是Memcache Redis的前身 严格来说只能叫缓存，不支持持久化，停电后数据丢失 Strom、Spark Streaming实时计算的结果一般会保存在Redis中 JDBC是性能瓶颈 关系型数据库将数据缓存到内存数据库 服务器端先访问内存数据库，有数据就直接返回，否则通过JDBC访问数据库 阅读全文

摘要： 为什么用Redis 是什么 一个小程序 缓存 & 数据库 单线程worker 新版本：IO threads epoll：多路复用 与Memcache区别 支持持久化：RDB快照、AOF日志 丰富的数据类型 速度 硬盘：寻址时间ms，带宽（吞吐）百兆~G/s（固态硬盘pci-e nvme） 内存：寻址 阅读全文

摘要： 什么是Flume 采集日志，存在HDFS上 分布式、高可用、高可靠的海量日志采集、聚合和传输系统 支持在日志系统中定制各类数据发送方，用于收集数据 支持对数据进行简单处理，写到数据接收方 组件 source：数据的来源 avro：接收另一个flume的数据 taildir：监控不断追加的日志文件 c 阅读全文

摘要： 什么是Sqoop 数据交换工具（ETL）：RDBMS（MySQL、Oracle等）<-->Sqoop<-->HDFS（HBase、Hive等） 基于JDBC 执行数据交换时，本质是执行一个MapReduce 安装 tar -zxvf sqoop-1.4.5.bin__hadoop-0.23.tar. 阅读全文

摘要： 简介 基于HDFS的数据仓库工具 基于HDFS上的数据分析引擎 2.x 前：SQL > Hive > MapReduce 2.x 后：推荐执行引擎为 Spark 支持SQL子集 架构 执行方式：CLI、JDBC、HWI（推荐HUE） Hive元信息：表名、列名、列的类型、分区、桶，存储在MySQL中 阅读全文

摘要： 整体架构 数据类型 文本类：CHAR、VARCHAR（可变长度字符，多使用）、TEXT、LONGTEXT（文本较大时使用） 数字类：TINYINT、INT、BIGINT、FLOAT、DOUBLE 日期类：DATE、DATETIME（常用）、TIME、YEAR 保留字 SELECT：选择列 WHERE 阅读全文

摘要： 分钱问题 100个人，初始每人100块钱，每轮每人将1元随机分给另一个人，若干轮过后，100个人的财富分布情况会怎样 画布的原点在左上角，y轴向下 AlgoVisHelper.java 1 import java.awt.EventQueue; 2 import java.util.Arrays; 阅读全文

摘要： 库 swing awt 过程 创建窗口JFrame JFrame-->MenuBar-->Container 屏幕坐标系：左上角为原点 Graphics2D Main.java 1 import java.awt.EventQueue; 2 import javax.swing.JFrame; 3 阅读全文

摘要： NoSQL数据库 关系型数据库：用表格的行-列来保存数据，OLTP，写入多，行式存储 非关系型数据库：只用来存储数据，业务逻辑由应用程序处理，OLAP，查询多，列式存储 常见NoSQL数据库 Redis：基于内存的NoSQL数据库 MongoDB：基于文档型（BSON）的NoSQl数据库 设计一个数 阅读全文

摘要： 进程 Linux是多用户系统，多个用户可以在不同地方通过网络连接到一个Linux系统上进行操作 w：显示登录人员信息 date：显示当前日期、时间和时区 up：从开机登录到现在经过的时间 load average：系统平均负载（5,10,15分钟） 用户登录列表 ps：显示当前系统中的进程（当前运行 阅读全文