摘要： 一、Redis的LRU数据淘汰机制 ### Redis的LRU数据淘汰机制 ~~~ # 在服务器配置中保存了 ~~~ lru 计数器 server.lrulock，会定时（redis 定时程序 serverCorn()）更新， ~~~ server.lrulock 的值是根据 server.unix 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Redis数据结构及过期机制：Redis缓存过期Redis性能高： ### 官方数据 ~~~ 读：110000次/s ~~~ 写：81000次/s ~~~ 长期使用，key会不断增加，Redis作为缓存使用，物理内存也会满 ~~~ 内存与硬盘交换（swap） 虚拟内存 ，频繁IO 性能急剧下降 阅读全文

摘要： 一、LRU ### LRU ~~~ LRU (Least recently used) 最近最少使用， ~~~ 算法根据数据的历史访问记录来进行淘汰数据， ~~~ 其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。 ### 最常见的实现是使用一个链表保存缓存数据，详细算法实现如下： 阅读全文

摘要： 一、Redis的Java客户端—Jedis ### 关闭RedisServer端的防火墙 [root@linux123 ~]# systemctl stop firewalld //（默认） [root@linux123 ~]# systemctl disable firewalld.service 阅读全文

摘要： 一、Redis常用命令 ### Redis官方地址 ~~~ 官方命令大全网址：http://www.redis.cn/commands.html ~~~ keys：返回满足给定pattern 的所有key ~~~ 语法：keys pattern ~~~ # 示例： 127.0.0.1:6379> k 阅读全文

摘要： 一、stream数据流类型 ### stream是Redis5.0后新增的数据结构，用于可持久化的消息队列。 ~~~ 几乎满足了消息队列具备的全部内容，包括： ~~~ 消息ID的序列化生成 ~~~ 消息遍历 ~~~ 消息的阻塞和非阻塞读取 ~~~ 消息的分组消费 ~~~ 未完成消息的处理 ~~~ 消 阅读全文

摘要： 一、bitmap位图类型 ### bitmap是进行位操作的 ~~~ 通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。 ~~~ bitmap本身会极大的节省储存空间。 二、常见操作命令如下表： 命令名称 命令格式 描述 setbit setbit key offset 阅读全文

摘要： 一、geohash算法 ### geohash算法 ~~~ # Gustavo在2008年2月上线了geohash.org网站。 ~~~ Geohash是一种地理位置信息编码方法。 经过geohash映射后， ~~~ 地球上任意位置的经纬度坐标可以表示成一个较短的字符串。 ~~~ 可以方便的存储在数 阅读全文

摘要： 一、sortedset有序集合类型 ### SortedSet(ZSet) 有序集合： 元素本身是无序不重复的 ~~~ 每个元素关联一个分数(score) ~~~ 可按分数排序，分数可重复 二、常见操作命令如下表： 命令名称 命令格式 描述 zadd zadd key score1 member1 阅读全文

摘要： 一、list列表类型 ### list列表类型 ~~~ list列表类型可以存储有序、可重复的元素 ~~~ 获取头部或尾部附近的记录是极快的 ~~~ list的元素个数最多为2^32-1个（40亿） 二、常见操作命令如下表： 命令名称 命令格式 描述 lpush lpush key v1 v2 v3 阅读全文

摘要： 一、set集合类型 ### set集合类型 ~~~ Set：无序、唯一元素 ~~~ 集合中最大的成员数为 2^32 - 1 二、常见操作命令如下表： 命令名称 命令格式 描述 sadd sadd key mem1 mem2 .... 为集合添加新成员 srem srem key mem1 mem2 阅读全文

摘要： 一、Redis单机版安装和使用 ### Redis下载 ~~~ 官网地址：http://redis.io/ ~~~ 中文官网地址：http://www.redis.cn/ ~~~ 下载地址：http://download.redis.io/releases/ ### Redis安装环境 ~~~ Re 阅读全文

摘要： 一、Redis数据类型和应用场景 ### [Redis数据结构及过期机制] ~~~ [Redis数据类型概述] ~~~ [Redis常用数据类型] ~~~ [Redis不常用数据类型] ### redis数据类型和应用场景 ~~~ Redis是一个Key-Value的存储系统，使用ANSI C语言编 阅读全文

摘要： 一、缓存的读写模式：缓存有三种读写模式：Cache Aside Pattern（常用） ### Cache Aside Pattern（旁路缓存），是最经典的缓存+数据库读写模式。 ~~~ 读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存，同时返回响应。 ~~~ 更新的时候，先更 阅读全文

摘要： 一、Redis数据结构及过期机制：Redis介绍 ### 什么是Redis ~~~ Redis （Remote Dictionary Server）远程字典服务器， ~~~ 是用C语言开发的一个开源的高性能键值对（ key-value ）内存数据库。 ~~~ 它提供了五种数据类型来存储值：字符串类型 阅读全文

摘要： 一、缓存基本思想 ### [缓存的原理设计] ~~~ [缓存的基本思想] ~~~ [缓存的优势和代价] ~~~ [缓存的读写模式] ### 什么是缓存？ ~~~ 缓存原指CPU上的一种高速存储器，它先于内存与CPU交换数据，速度很快 ~~~ 现在泛指存储在计算机上的原始数据的复制集，便于快速访问。 阅读全文

摘要： 一、缓存的优势和代价：使用缓存的优势 ### 提升用户体验 ~~~ 用户体验（User Experience）：用户在使用产品过程中建立起来的一种纯主观感受。 ~~~ 缓存的使用可以提升系统的响应能力，大大提升了用户体验。 ### 减轻服务器压力 ~~~ 客户端缓存、网络端缓存减轻应用服务器压力。 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、配置Azkaban-exec-server ### linux123节点，上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -r 阅读全文

摘要： 一、shell command调度 ### [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、multiple-executor模式部署 ### [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exe 阅读全文

摘要： 一、单服务模式使用 ### 需求：使用azkaban调度我们的shell脚本，执行linux的shell命令 ~~~ 具体步骤：开发job文件：创建普通文本文件 foo.job，文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### 上传 阅读全文

摘要： 一、Azkaban介绍 ### Azkaban介绍 ~~~ # Azkaban是由linkedin（领英）公司推出的一个批量工作流任务调度器， ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系， ~~~ 并提供一个易于使用 阅读全文

摘要： 一、azkaban-solo-server部署使用：Azkaban安装部署：Azkaban的安装准备工作 ### 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译， ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apac 阅读全文

摘要： 一、工作流调度系统 ### 一个完整的数据分析系统通常都是由大量任务单元组成： ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划， ~~~ 需要一个⼯工作流调 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、大纲 ### [HBase] ~~~ [HBase表热点] ~~~ [HBase二级索引] ~~~ [HBase中布隆过滤器] 二、HBase表的RowKey设计：RowKey的基本介绍：ASCII码字典顺序。 ### HBase表的RowKey设计：RowKey的基本介绍：ASCII码字典顺序 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、HBase API应用和优化 ### [HBase] ~~~ [HBase客户端操作part01] ~~~ [HBase客户端操作part02] 二、HBase API客户端操作 ### 创建Maven工程，添加依赖 <dependencies> <dependency> <groupId>or 阅读全文

摘要： 一、Hbase 协处理器 ### [HBase] ~~~ [HBase协处理器] ~~~ [HBase协处理器之Observer案例代码开发] ~~~ [HBase协处理器之案例验证] ### 协处理器概述 ~~~ # 官方地址： ~~~ http://hbase.apache.org/book.h 阅读全文

摘要： 一、HBase表的预分区(region) ### [HBase] ~~~ [HBase表的预分区] ~~~ [HBase表Region合并] ~~~ [HBase表Region冷合并] ~~~ [HBase表Region热合并] ### 为何要预分区？ ~~~ 当一个table刚被创建的时候，Hba 阅读全文

摘要： 一、HBase拆分机制、HBase的Region拆分策略： ### Region 拆分机制 ~~~ Region中存储的是大量的rowkey数据 ,当Region中的数据条数过多的时候, ~~~ 直接影响查询效率.当Region过大的时候.HBase会拆分Region , 这也是Hbase的一个优点 阅读全文

摘要： 一、HBase读数据流程 ### [HBase] ~~~ [HBase原理深入之读数据流程] ~~~ [HBase原理升入之写数据流程] ~~~ [HBase的Flush机制及阻塞机制] ~~~ [HBase的Compact合并机制] ### HBase表中row可以按照字典序排序，切分region 阅读全文

摘要： 一、HBase的flush(刷写)及compact(合并)机制 ### Flush机制 ~~~ 当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M <property> <name>hbase.hregion.memstore.flush.size</name> <valu 阅读全文

摘要： 一、HBase集群安装部署 ### 下载安装包 http://archive.apache.org/dist/hbase/1.3.1/ hbase-1.3.1-bin.tar.gz ### 规划安装目录 [root@linux121 ~]# /opt/yanqi/servers/ ### 上传安装包 阅读全文

摘要： 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 [root@linux121 ~]# hbase shell ### 查看帮助命令 hbase(main):003:0> help ### 查看当前数据库中有哪些表 hbase(main):003:0> list TAB 阅读全文