摘要：
猫熊小才天の书院 阅读全文
posted @ 2020-10-22 12:12
猫熊小才天
阅读(128)
评论(0)
推荐(0)
摘要：
date: 2020-10-15 14:58:00 updated: 2020-10-19 17:58:00 Redis中的跳表 参考网址1 参考网址2 redis 数据类型 zset 实现有序集合，底层使用的数据结构是跳表。 源码在 src/t_zset.c 文件中，相关数据结构的定义在 src/ 阅读全文
posted @ 2020-10-22 12:09
猫熊小才天
阅读(1938)
评论(0)
推荐(0)
摘要：
date: 2020-10-15 10:58:00 updated: 2020-10-19 18:00:00 Redis的一些问题 Remote Dictionary Server 底层C写的 类似于 mysql，可以把最近的query和对应的结果保存下来 ⇒ hashquery 存入到缓存里，如果 阅读全文
posted @ 2020-10-22 12:06
猫熊小才天
阅读(251)
评论(0)
推荐(0)
摘要：
date: 2020-10-09 17:45:00 updated: 2020-10-10 17:45:00 Distcp 跨集群同步 1. 使用方法及原理 hadoop distcp srcPath tarPath 会把srcPath和tarPath下的所有目录、文件信息放入到 _distcp_s 阅读全文
posted @ 2020-10-22 12:05
猫熊小才天
阅读(485)
评论(0)
推荐(0)
摘要：
date: 2020-09-28 16:09:00 updated: 2020-09-28 17:42:00 单例模式 1. 饿汉式 public class EHan { private static EHan instance = new EHan(); private EHan(){} pub 阅读全文
posted @ 2020-10-22 12:03
猫熊小才天
阅读(60)
评论(0)
推荐(0)
摘要：
date: 2020-09-28 11:08:00 updated: 2020-09-21 18:15:00 线程一些问题 1. 概述 单线程和多线程 表象化的一种理解：线程就是程序执行的路径，单线程就是只有一条路径，多线程就是多条路径 进程：一个程序装载到内存里，分配好资源如网络等等。是分配资源的 阅读全文
posted @ 2020-10-22 12:01
猫熊小才天
阅读(176)
评论(0)
推荐(0)
摘要：
date: 2020-09-27 13:50:00 updated: 2020-09-28 16:30:00 Phoenix创建索引源码过程 org.apache.phoenix.index.IndexMaintainer public byte[] buildRowKey(ValueGetter 阅读全文
posted @ 2020-10-22 11:59
猫熊小才天
阅读(325)
评论(0)
推荐(0)
摘要：
date: 2020-09-24 16:24:00 updated: 2020-09-24 17:30:00 Mac 搭建 Redis 集群 参考文档 摘要 安装docker brew cask install docker 在设置里选择 Docker Engine，添加国内下载镜像 { "regi 阅读全文
posted @ 2020-10-22 11:57
猫熊小才天
阅读(329)
评论(0)
推荐(0)
摘要：
date: 2020-09-18 17:07:00 updated: 2020-09-25 11:03:00 Redis 参考网址 1. 概述 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法 阅读全文
posted @ 2020-10-22 11:26
猫熊小才天
阅读(100)
评论(0)
推荐(0)
摘要：
date: 2020-09-10 13:50:00 updated: 2020-09-14 16:30:00 1. Phoenix索引 全局索引：适合读多写少的场景。写数据时因为索引表分布在不同数据节点，跨节点数据传输带来巨大的性能消耗。 全局索引必须是查询语句中所有列都包含在全局索引中，它才会生效 阅读全文
posted @ 2020-10-22 11:24
猫熊小才天
阅读(989)
评论(0)
推荐(0)
摘要：
date: 2020-09-10 09:57:00 updated: 2020-09-12 09:54:00 MySQL索引 参考文档 1. 多页结构 OS存储数据按页来存储，一页是4KB，读取数据也是一次读一页，原因是程序局部性的概念，大意是“一个程序在访问了一条数据之后，在之后会有极大的可能再次 阅读全文
posted @ 2020-10-22 11:22
猫熊小才天
阅读(100)
评论(0)
推荐(0)
摘要：
date: 2020-09-09 17:36:00 updated: 2020-09-09 17:54:00 红黑树 1. 红黑树 数组查询快，链表插入删除快 ⇒ 二叉树兼具两者优点 ⇒ 但是二叉树可能存在特殊情况，即一侧子树非常长，另一侧很短，不平衡 ⇒ 红黑树，即二叉平衡树，是一个去除二叉树顶端 阅读全文
posted @ 2020-10-22 11:20
猫熊小才天
阅读(137)
评论(0)
推荐(0)
摘要：
date: 2020-09-06 13:34:00 updated: 2020-09-10 09:57:00 B-树和B+树 1. B-树 1.1 B-树就是B树 英文名字叫做B-tree，中间的短线是英文连接符，只是翻译的时候将短线翻译成了减号。 全称Balance-tree(平衡多路查找树)，平 阅读全文
posted @ 2020-10-22 11:19
猫熊小才天
阅读(221)
评论(0)
推荐(0)
摘要：
date: 2020-09-03 14:08:00 updated: 2020-09-03 14:28:00 面向对象编程 摘自知乎 理解：参考Alan Kay的原话来看，对象就像是细胞，互相交流是靠消息传递。OOP对它只是消息传递，本地保留和保护，隐藏状态进程，极端的后期绑定。 原文如下： 面向对 阅读全文
posted @ 2020-10-22 11:17
猫熊小才天
阅读(255)
评论(0)
推荐(0)
摘要：
date: 2020-08-21 16:48:00 updated: 2020-08-21 16:52:00 HashMap 中的哈希值计算问题 1. hash 计算 JDK1.8 HashMap源码 static final int hash(Object key) { int h; return 阅读全文
posted @ 2020-10-22 11:16
猫熊小才天
阅读(3447)
评论(0)
推荐(1)
摘要：
date: 2020-08-19 13:48:00 updated: 2020-08-21 17:23:00 守护线程和用户线程 Java分为两种线程：用户线程和守护线程 所谓守护线程是指在程序运行的时候在后台提供一种通用服务的线程，比如垃圾回收线程就是一个很称职的守护者，并且这种线程并不属于程序中 阅读全文
posted @ 2020-10-22 11:14
猫熊小才天
阅读(83)
评论(0)
推荐(0)
摘要：
date: 2020-08-19 10:16:00 updated: 2020-08-19 10:16:00 ThreadLocal 参考网址 以数据库连接为例，如果多个线程共享一个连接，有可能一个线程在对数据库进行操作，另一个线程调用了closeConnection操作；如果在每一个线程都new一 阅读全文
posted @ 2020-10-22 11:13
猫熊小才天
阅读(98)
评论(0)
推荐(0)
摘要：
date: 2020-08-11 14:32:00 updated: 2020-08-20 17:23:00 同步队列 ∵ 多线程 ∴ 需要针对一些资源进行同步 ∴ 有了同步队列 实现方式主要有两种：阻塞方式（队列使用一个锁，出队入队用同一把锁或者队列使用两把锁，出队和入队用不同的锁）和非阻塞方式（ 阅读全文
posted @ 2020-10-22 11:12
猫熊小才天
阅读(314)
评论(0)
推荐(0)
摘要：
date: 2020-07-29 09:54:00 updated: 2020-08-04 17:09:00 血缘分析 1. LineageLogger 首先需要对 org.apache.hadoop.hive.ql.hooks.LineageLogger 这个类进行改写，原类会把 lineage 阅读全文
posted @ 2020-10-22 11:10
猫熊小才天
阅读(1276)
评论(2)
推荐(0)
摘要：
date: 2020-07-20 16:15:00 updated: 2020-07-27 13:40:00 Parquet 源码解析 Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。在HDFS文件系统和Parqu 阅读全文
posted @ 2020-10-22 11:09
猫熊小才天
阅读(1359)
评论(0)
推荐(0)
摘要：
date: 2020-07-20 16:09:00 updated: 2020-08-20 15:50:00 多线程 多线程的目的不是提升执行速度等，而是提高资源利用效率，当有的线程不占用cpu时让出来资源，从而有可能达到提高效率的结果（线程太多有可能会变慢）。 JVM虚拟机的启动是多线程的，至少有 阅读全文
posted @ 2020-10-22 11:07
猫熊小才天
阅读(104)
评论(0)
推荐(0)
摘要：
date: 2020-07-09 13:52:00 updated: 2020-07-21 17:40:00 LinkedHashMap 实现LRU缓存 参考 LinkedHashMap是HashMap的子类，但是内部还有一个双向链表维护键值对的顺序，每个键值对既位于哈希表中，也位于双向链表中。Li 阅读全文
posted @ 2020-10-22 11:05
猫熊小才天
阅读(130)
评论(0)
推荐(0)
摘要：
date: 2020-07-08 15:12:00 updated: 2020-08-21 17:38:00 Hive源码解析 入口：hive-cli-1.1.0-cdh5.14.4.jar!/org/apache/hadoop/hive/cli/CliDriver.class 参考文档 1. 启动 阅读全文
posted @ 2020-10-22 11:03
猫熊小才天
阅读(1716)
评论(0)
推荐(0)
摘要：
date: 2020-06-18 10:09:45 updated: 2020-07-06 16:45:45- Spring注解 1. 组件类注解 @Component ：标准一个普通的spring Bean类 @Repository：标注一个数据访问层DAO组件类 @Service：标注一个业务逻 阅读全文
posted @ 2020-10-22 11:02
猫熊小才天
阅读(446)
评论(0)
推荐(1)
摘要：
date: 2020-06-16 10:03:00 updated: 2020-07-08 11:15:00 Phoenix 1. phoenix-sqlline 退出 !quit !exit 列出metadata信息 !dbinfo 查看当前库中存在的表 !tables phoenix中的表信息都 阅读全文
posted @ 2020-10-22 11:00
猫熊小才天
阅读(207)
评论(0)
推荐(0)
摘要：
date: 2020-06-14 14:42:22 updated: 2020-08-21 17:35:45 Java IO相关使用 1. 文件 创建 File 对象的三种方式 一个路径名：File(String pathname) 一个父路径名和子路径名：File(File parent, Str 阅读全文
posted @ 2020-10-22 10:59
猫熊小才天
阅读(97)
评论(0)
推荐(0)
摘要：
date: 2020-05-31 12:09:00 updated: 2020-08-21 17:33:00 Sqoop源码解析 org.apache.sqoop 文件夹 参考文档： https://blog.csdn.net/omadesala/article/details/48368163 1 阅读全文
posted @ 2020-10-22 10:57
猫熊小才天
阅读(813)
评论(0)
推荐(0)
摘要：
date: 2020-05-24 17:55:00 updated: 2020-06-15 11:19:00 Hive 建模 1. 存储格式 textFile sequenceFile：一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩。将数据以<key,value>的形式序列化到文 阅读全文
posted @ 2020-10-22 10:55
猫熊小才天
阅读(694)
评论(0)
推荐(0)
摘要：
date: 2020-04-23 19:31:00 updated: 2020-04-24 16:22:00 Spark VM options: -Dspark.master=local 还可以是 cluster，local[*], Standalone(只支持简单的固定资源分配策略) Spark 阅读全文
posted @ 2020-10-22 10:54
猫熊小才天
阅读(159)
评论(0)
推荐(0)
摘要：
date: 2020-04-23 11:55:00 updated: 2020-07-10 16:11:00 HashMap 源码解析 java.lang.Object ↳ java.util.AbstractMap<K, V> ↳ java.util.HashMap<K, V> public cl 阅读全文
posted @ 2020-10-22 10:51
猫熊小才天
阅读(102)
评论(0)
推荐(0)
摘要：
date: 2020-04-22 20:15:00 updated: 2020-04-24 09:40:00 MapReduce 1.1 输入输出 首先都是 k, v 的形式 map 到 reduce 端是通过网络来传输，所以 k, v 都需要序列化和反序列化，Java 基本数据类型不支持序列化，所 阅读全文
posted @ 2020-10-22 10:49
猫熊小才天
阅读(171)
评论(0)
推荐(0)
摘要：
date: 2020-04-21 19:38:00 updated: 2020-04-24 10:26:00 DataSkew 数据倾斜 1. Hive 里的数据倾斜 1.1 null值 空值 尽量提前过滤，或者把无效值替换成随机字符串，比如 if(a is null or trim(a) = "" 阅读全文
posted @ 2020-10-22 10:48
猫熊小才天
阅读(345)
评论(0)
推荐(0)
摘要：
date: 2020-04-21 19:17:00 updated: 2020-06-15 11:22:00 Kafka 1. 知识点 Kafka不能保证消息的全局有序，只能保证消息在partition内有序 每个partition对应于一个log文件，该log文件中存储的就是生产者生成的数据，生产 阅读全文
posted @ 2020-10-22 10:45
猫熊小才天
阅读(90)
评论(0)
推荐(0)
摘要：
date: 2020-04-21 19:17:00 updated: 2020-04-23 08:38:00 Zookeeper 1. 知识点 ZooKeeper 集群中包含 Leader、Follower 以及 Observer 三个角色： Leader：负责进行投票的发起和决议，更新系统状态，L 阅读全文
posted @ 2020-10-22 10:42
猫熊小才天
阅读(96)
评论(0)
推荐(0)
摘要：
date: 2020-04-01 17:00:00 updated: 2020-04-01 17:00:00 Bloom Filter 布隆过滤器 之前的一版笔记 点此跳转 1. 什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data str 阅读全文
posted @ 2020-10-22 10:39
猫熊小才天
阅读(91)
评论(0)
推荐(0)
摘要：
date: 2020-04-01 14:25:00 updated: 2020-04-01 14:25:00 常见的Python运行时错误 摘自 菜鸟学Python 公众号 1. SyntaxError：invalid syntax 忘记在 if，for，def，elif，else，class 等声 阅读全文
posted @ 2020-10-22 10:36
猫熊小才天
阅读(1684)
评论(0)
推荐(0)
摘要：
date: 2020-03-31 14:09:00 updated: 2020-06-15 11:16:00 Flume 1. Flume 日志采集 读数据 组件是 resource 缓存数据 channel 原因是读写速度的不一致，可以缓存在内存或本地文件，临时储存。看做一个数据的缓冲区（数据队列 阅读全文
posted @ 2020-10-22 10:32
猫熊小才天
阅读(70)
评论(0)
推荐(0)
摘要：
date: 2020-03-31 14:09:00 updated: 2020-06-29 17:14:00 HBase 1. 特性 rowkey 行键（自定义，但是必须有，而且唯一）；列族，列族里储存的是 k,v 的形式，并且 v 可以储存多个不同的值，根据时间戳来判断版本，默认返回最近更新的版本 阅读全文
posted @ 2020-10-22 10:29
猫熊小才天
阅读(189)
评论(0)
推荐(0)
摘要：
date: 2020-03-14 17:00:00 updated: 2020-03-14 18:00:00 Docker启动Mysql镜像 管理员权限！！！ docker run -p 3306:3306 --name mysql01 -e MYSQL_ROOT_PASSWORD=123456 - 阅读全文
posted @ 2020-10-22 10:27
猫熊小才天
阅读(859)
评论(0)
推荐(0)
摘要：
date: 2020-02-10 09:10:00 updated: 2020-02-10 11:20:00 Python之Flask框架 1. 项目结构 DemandSys blueprints config models static templates app.py blueprints -- 阅读全文
posted @ 2020-10-22 10:17
猫熊小才天
阅读(164)
评论(0)
推荐(0)
摘要：
date: 2020-02-10 09:10:00 updated: 2020-03-24 16:50:00 SqlAlchemy 1. 理解 之前使用的是 pymysql 插件，类似于 JDBC 的连接方式，通过写大量的 sql 语句来进行关联表、筛选字段等功能。SqlAlchemy 和 Flas 阅读全文
posted @ 2020-10-22 10:15
猫熊小才天
阅读(533)
评论(0)
推荐(0)
摘要：
date: 2020-01-05 16:20:00 updated: 2020-01-08 15:50:00 Spring Boot 学习摘要--关于日志框架 学习教程来自：B站 尚硅谷 1. 关于日志框架 市面上有 N 多个日志工具包，为了能通用，会有专门的抽象类，所以需要用的时候，要先选择一个抽 阅读全文
posted @ 2020-10-22 10:13
猫熊小才天
阅读(97)
评论(0)
推荐(0)
摘要：
date: 2019-12-27 11:09:28 updated: 2020-01-16 11:09:28 DNS DNS(Domain Name System)：将一个网站的域名转换为对应的IP 1. 源起 方案1：访问一台计算机需要通过 IP 地址，但是访问如果 IP 发生变更，需要告诉所有人 阅读全文
posted @ 2020-10-22 10:12
猫熊小才天
阅读(356)
评论(0)
推荐(0)
摘要：
date: 2019-12-27 09:00:00 updated: 2019-12-30 13:20:00 Spring Boot 学习摘要--关于配置 学习教程来自：B站 尚硅谷 1. 关于配置 1. Yaml 键值对写法：必须要有空格！ k: v v 的一些写法 v 是对象 friends: 阅读全文
posted @ 2020-10-22 10:10
猫熊小才天
阅读(103)
评论(0)
推荐(0)
摘要：
date: 2019-12-19 14:40:00 updated: 2019-12-19 15:10:00 Spring Boot + Druid 多数据源绑定 版本环境：Spring Boot 2.0.6 参考文档地址： https://blog.csdn.net/cllaure/article 阅读全文
posted @ 2020-10-22 10:08
猫熊小才天
阅读(351)
评论(0)
推荐(0)
摘要：
date: 2019-12-14 08:47:49 updated: 2020-04-01 14:00:00 Python 基础 1.标准数据类型 Number（数字） String（字符串） List（列表） Tuple（元组） Set（集合） Dictionary（字典） 其中 不可变数据：Nu 阅读全文
posted @ 2020-10-22 10:03
猫熊小才天
阅读(60)
评论(0)
推荐(0)
摘要：
date: 2019-10-27 07:25:00 updated: 2019-10-27 10:18:00 1. 新星 “让我们掌声欢迎我们H国有史以来最闪耀的新星，罗兰小姐！” 主持人话音刚落，一道白光打在了舞台中央，穿着一袭白衣的罗兰此时就像是一个公主。曼妙的歌声和观众的呼喊声混合在一起，竟让 阅读全文
posted @ 2020-10-22 09:56
猫熊小才天
阅读(175)
评论(0)
推荐(0)
摘要：
date: 2019-10-18 09:10:00 updated: 2019-10-18 15:18:00 Qlik Sense插件及QRS接口补充 1.插件 1.1 获取数据方式 理论上 Engine 所有的方法都应该有对应的 Capability API 方法，但是在开发者文档里的 API 有 阅读全文
posted @ 2020-10-22 09:53
猫熊小才天
阅读(518)
评论(0)
推荐(0)
摘要：
date: 2019-09-23 16:50:00 updated: 2019-09-24 11:00:00 Java8 新特性 1. Lambda 表达式 语法： (parameters) -> expression 或 (parameters) -> { statements; } 特征： 可选 阅读全文
posted @ 2020-10-22 09:48
猫熊小才天
阅读(57)
评论(0)
推荐(0)
摘要：
date: 2019-08-30 11:02:37 updated: 2019-08-30 14:40:00 Hive Sql的窗口函数 1. count、sum、avg、max、min 以 sum 为例 # 按照 year 来分组，统计每一年的总和 # 结果：每个月的值都是本年的总和 sum(va 阅读全文
posted @ 2020-10-22 09:41
猫熊小才天
阅读(1134)
评论(0)
推荐(0)
摘要：
title: date: 2019-08-07 11:15:00 updated: 2019-08-17 09:50:00 Kafka概念 1. 介绍 Apache kafka是消息中间件的一种，我发现很多人不知道消息中间件是什么，在开始学习之前，我这边就先简单的解释一下什么是消息中间件，只是粗略的 阅读全文
posted @ 2020-10-22 09:39
猫熊小才天
阅读(80)
评论(0)
推荐(0)
摘要：
date: 2019-08-07 11:15:00 updated: 2019-11-25 20:00:00 Scala编程 笔记 1. makeRDD 和 parallelize 生成 RDD def parallelize[T: ClassTag]( seq: Seq[T], numSlices 阅读全文
posted @ 2020-10-22 09:36
猫熊小才天
阅读(143)
评论(0)
推荐(0)
摘要：
date: 2019-08-01 11:15:27 updated: 2019-08-22 15:22:32 Scala 特殊符号含义 参考地址 1. ::: val a = List(1, 2) val b = List(3, 4) val c = a ::: b 2. :: ::（两个冒号）表示 阅读全文
posted @ 2020-10-22 09:34
猫熊小才天
阅读(525)
评论(0)
推荐(0)
摘要：
date: 2019-05-15 17:02:37 updated: 2019-05-22 10:45:34 Django 1.构建项目 1.1 django-admin startproject StockPro 目录： StockPro: 项目的容器。 manage.py: 一个实用的命令行工具 阅读全文
posted @ 2020-10-22 09:32
猫熊小才天
阅读(95)
评论(0)
推荐(0)
浙公网安备 33010602011771号