上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 69 下一页

2022年4月8日

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Redis.V17|——|Redis.v17|缓存过期|淘汰策略.v03|

摘要: 一、Redis的LRU数据淘汰机制 ### Redis的LRU数据淘汰机制 ~~~ # 在服务器配置中保存了 ~~~ lru 计数器 server.lrulock,会定时(redis 定时程序 serverCorn())更新, ~~~ server.lrulock 的值是根据 server.unix 阅读全文

posted @ 2022-04-08 15:46 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:46 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Redis.V15|——|Redis.v15|缓存过期|淘汰策略.v01|

摘要: 一、Redis数据结构及过期机制:Redis缓存过期Redis性能高: ### 官方数据 ~~~ 读:110000次/s ~~~ 写:81000次/s ~~~ 长期使用,key会不断增加,Redis作为缓存使用,物理内存也会满 ~~~ 内存与硬盘交换(swap) 虚拟内存 ,频繁IO 性能急剧下降 阅读全文

posted @ 2022-04-08 15:45 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Redis.V16|——|Redis.v16|缓存过期|淘汰策略.v02|

摘要: 一、LRU ### LRU ~~~ LRU (Least recently used) 最近最少使用, ~~~ 算法根据数据的历史访问记录来进行淘汰数据, ~~~ 其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。 ### 最常见的实现是使用一个链表保存缓存数据,详细算法实现如下: 阅读全文

posted @ 2022-04-08 15:45 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&Redis.V14|——|Redis.v14|客户端Jedis|

摘要: 一、Redis的Java客户端—Jedis ### 关闭RedisServer端的防火墙 [root@linux123 ~]# systemctl stop firewalld //(默认) [root@linux123 ~]# systemctl disable firewalld.service 阅读全文

posted @ 2022-04-08 15:44 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Redis.V13|——|Redis.v13|常用命令|

摘要: 一、Redis常用命令 ### Redis官方地址 ~~~ 官方命令大全网址:http://www.redis.cn/commands.html ~~~ keys:返回满足给定pattern 的所有key ~~~ 语法:keys pattern ~~~ # 示例: 127.0.0.1:6379> k 阅读全文

posted @ 2022-04-08 15:43 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Redis.V12|——|Redis.v12|数据类型.v07|

摘要: 一、stream数据流类型 ### stream是Redis5.0后新增的数据结构,用于可持久化的消息队列。 ~~~ 几乎满足了消息队列具备的全部内容,包括: ~~~ 消息ID的序列化生成 ~~~ 消息遍历 ~~~ 消息的阻塞和非阻塞读取 ~~~ 消息的分组消费 ~~~ 未完成消息的处理 ~~~ 消 阅读全文

posted @ 2022-04-08 15:43 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Redis.V10|——|Redis.v10|数据类型.v05|

摘要: 一、bitmap位图类型 ### bitmap是进行位操作的 ~~~ 通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。 ~~~ bitmap本身会极大的节省储存空间。 二、常见操作命令如下表: 命令名称 命令格式 描述 setbit setbit key offset 阅读全文

posted @ 2022-04-08 15:42 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Redis.V11|——|Redis.v11|数据类型.v06|

摘要: 一、geohash算法 ### geohash算法 ~~~ # Gustavo在2008年2月上线了geohash.org网站。 ~~~ Geohash是一种地理位置信息编码方法。 经过geohash映射后, ~~~ 地球上任意位置的经纬度坐标可以表示成一个较短的字符串。 ~~~ 可以方便的存储在数 阅读全文

posted @ 2022-04-08 15:42 yanqi_vip 阅读(95) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Redis.V09|——|Redis.v09|数据类型.v04|

摘要: 一、sortedset有序集合类型 ### SortedSet(ZSet) 有序集合: 元素本身是无序不重复的 ~~~ 每个元素关联一个分数(score) ~~~ 可按分数排序,分数可重复 二、常见操作命令如下表: 命令名称 命令格式 描述 zadd zadd key score1 member1 阅读全文

posted @ 2022-04-08 15:41 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Redis.V07|——|Redis.v07|数据类型.v02|

摘要: 一、list列表类型 ### list列表类型 ~~~ list列表类型可以存储有序、可重复的元素 ~~~ 获取头部或尾部附近的记录是极快的 ~~~ list的元素个数最多为2^32-1个(40亿) 二、常见操作命令如下表: 命令名称 命令格式 描述 lpush lpush key v1 v2 v3 阅读全文

posted @ 2022-04-08 15:40 yanqi_vip 阅读(51) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Redis.V08|——|Redis.v08|数据类型.v03|

摘要: 一、set集合类型 ### set集合类型 ~~~ Set:无序、唯一元素 ~~~ 集合中最大的成员数为 2^32 - 1 二、常见操作命令如下表: 命令名称 命令格式 描述 sadd sadd key mem1 mem2 .... 为集合添加新成员 srem srem key mem1 mem2 阅读全文

posted @ 2022-04-08 15:40 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00005|——————————|^^ 部署 ^^|——|Hadoop&Redis.V05|——|Redis.v05|Redis5.05单机部署|

摘要: 一、Redis单机版安装和使用 ### Redis下载 ~~~ 官网地址:http://redis.io/ ~~~ 中文官网地址:http://www.redis.cn/ ~~~ 下载地址:http://download.redis.io/releases/ ### Redis安装环境 ~~~ Re 阅读全文

posted @ 2022-04-08 15:39 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|数据类型.v01|

摘要: 一、Redis数据类型和应用场景 ### [Redis数据结构及过期机制] ~~~ [Redis数据类型概述] ~~~ [Redis常用数据类型] ~~~ [Redis不常用数据类型] ### redis数据类型和应用场景 ~~~ Redis是一个Key-Value的存储系统,使用ANSI C语言编 阅读全文

posted @ 2022-04-08 15:39 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|缓存原理设计.v03|

摘要: 一、缓存的读写模式:缓存有三种读写模式:Cache Aside Pattern(常用) ### Cache Aside Pattern(旁路缓存),是最经典的缓存+数据库读写模式。 ~~~ 读的时候,先读缓存,缓存没有的话,就读数据库,然后取出数据后放入缓存,同时返回响应。 ~~~ 更新的时候,先更 阅读全文

posted @ 2022-04-08 15:38 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|简介历史|

摘要: 一、Redis数据结构及过期机制:Redis介绍 ### 什么是Redis ~~~ Redis (Remote Dictionary Server)远程字典服务器, ~~~ 是用C语言开发的一个开源的高性能键值对( key-value )内存数据库。 ~~~ 它提供了五种数据类型来存储值:字符串类型 阅读全文

posted @ 2022-04-08 15:38 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|缓存原理设计.v01|

摘要: 一、缓存基本思想 ### [缓存的原理设计] ~~~ [缓存的基本思想] ~~~ [缓存的优势和代价] ~~~ [缓存的读写模式] ### 什么是缓存? ~~~ 缓存原指CPU上的一种高速存储器,它先于内存与CPU交换数据,速度很快 ~~~ 现在泛指存储在计算机上的原始数据的复制集,便于快速访问。 阅读全文

posted @ 2022-04-08 15:37 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|缓存原理设计.v02|

摘要: 一、缓存的优势和代价:使用缓存的优势 ### 提升用户体验 ~~~ 用户体验(User Experience):用户在使用产品过程中建立起来的一种纯主观感受。 ~~~ 缓存的使用可以提升系统的响应能力,大大提升了用户体验。 ### 减轻服务器压力 ~~~ 客户端缓存、网络端缓存减轻应用服务器压力。 阅读全文

posted @ 2022-04-08 15:37 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:36 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:36 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00034|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V06|——|azkaban.v06|azkaban.multiple-executor模式部署.v02|

摘要: 一、配置Azkaban-exec-server ### linux123节点,上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -r 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00035|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V07|——|azkaban.v07|实验实例|

摘要: 一、shell command调度 ### [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00033|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V05|——|azkaban.v05|azkaban.multiple-executor模式部署.v01|

摘要: 一、multiple-executor模式部署 ### [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exe 阅读全文

posted @ 2022-04-08 15:34 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00032|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V04|——|azkaban.v04|azkaban-solo-server部署配置.v02|

摘要: 一、单服务模式使用 ### 需求:使用azkaban调度我们的shell脚本,执行linux的shell命令 ~~~ 具体步骤:开发job文件:创建普通文本文件 foo.job,文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### 上传 阅读全文

posted @ 2022-04-08 15:33 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&azkaban.V02|——|azkaban.v02|概述|

摘要: 一、Azkaban介绍 ### Azkaban介绍 ~~~ # Azkaban是由linkedin(领英)公司推出的一个批量工作流任务调度器, ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系, ~~~ 并提供一个易于使用 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00031|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V03|——|azkaban.v03|azkaban-solo-server部署配置.v01|

摘要: 一、azkaban-solo-server部署使用:Azkaban安装部署:Azkaban的安装准备工作 ### 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译, ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apac 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(57) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&azkaban.V01|——|azkaban.v01|工作调度系统|

摘要: 一、工作流调度系统 ### 一个完整的数据分析系统通常都是由大量任务单元组成: ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划, ~~~ 需要一个⼯工作流调 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&HBase.V11|——|HBase.v11|布隆过滤器|二级索引|

摘要: 一、大纲 ### [HBase] ~~~ [HBase表热点] ~~~ [HBase二级索引] ~~~ [HBase中布隆过滤器] 二、HBase表的RowKey设计:RowKey的基本介绍:ASCII码字典顺序。 ### HBase表的RowKey设计:RowKey的基本介绍:ASCII码字典顺序 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&HBase.V09|——|HBase.v09|客户端操作part|

摘要: 一、HBase API应用和优化 ### [HBase] ~~~ [HBase客户端操作part01] ~~~ [HBase客户端操作part02] 二、HBase API客户端操作 ### 创建Maven工程,添加依赖 <dependencies> <dependency> <groupId>or 阅读全文

posted @ 2022-04-08 15:29 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&HBase.V10|——|HBase.v10|协处理器|

摘要: 一、Hbase 协处理器 ### [HBase] ~~~ [HBase协处理器] ~~~ [HBase协处理器之Observer案例代码开发] ~~~ [HBase协处理器之案例验证] ### 协处理器概述 ~~~ # 官方地址: ~~~ http://hbase.apache.org/book.h 阅读全文

posted @ 2022-04-08 15:29 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——|Hadoop&HBase.V08|——|HBase.v08|HBase表Region|冷热合并|

摘要: 一、HBase表的预分区(region) ### [HBase] ~~~ [HBase表的预分区] ~~~ [HBase表Region合并] ~~~ [HBase表Region冷合并] ~~~ [HBase表Region热合并] ### 为何要预分区? ~~~ 当一个table刚被创建的时候,Hba 阅读全文

posted @ 2022-04-08 15:28 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&HBase.V07|——|HBase.v07|原理拆分机制|拆分策略|

摘要: 一、HBase拆分机制、HBase的Region拆分策略: ### Region 拆分机制 ~~~ Region中存储的是大量的rowkey数据 ,当Region中的数据条数过多的时候, ~~~ 直接影响查询效率.当Region过大的时候.HBase会拆分Region , 这也是Hbase的一个优点 阅读全文

posted @ 2022-04-08 15:27 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&HBase.V05|——|HBase.v05|HBase原理|读写Flush阻塞|合并机制.v01|

摘要: 一、HBase读数据流程 ### [HBase] ~~~ [HBase原理深入之读数据流程] ~~~ [HBase原理升入之写数据流程] ~~~ [HBase的Flush机制及阻塞机制] ~~~ [HBase的Compact合并机制] ### HBase表中row可以按照字典序排序,切分region 阅读全文

posted @ 2022-04-08 15:26 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&HBase.V06|——|HBase.v06|HBase原理|读写Flush阻塞|合并机制.v02|

摘要: 一、HBase的flush(刷写)及compact(合并)机制 ### Flush机制 ~~~ 当memstore的大小超过这个值的时候,会flush到磁盘,默认为128M <property> <name>hbase.hregion.memstore.flush.size</name> <valu 阅读全文

posted @ 2022-04-08 15:26 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00019|——————————|^^ 部署 ^^|——|Hadoop&HBase.V03|——|HBase.v03|集群部署|

摘要: 一、HBase集群安装部署 ### 下载安装包 http://archive.apache.org/dist/hbase/1.3.1/ hbase-1.3.1-bin.tar.gz ### 规划安装目录 [root@linux121 ~]# /opt/yanqi/servers/ ### 上传安装包 阅读全文

posted @ 2022-04-08 15:25 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&HBase.V04|——|HBase.v04|HBase Shell操作|

摘要: 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 [root@linux121 ~]# hbase shell ### 查看帮助命令 hbase(main):003:0> help ### 查看当前数据库中有哪些表 hbase(main):003:0> list TAB 阅读全文

posted @ 2022-04-08 15:25 yanqi_vip 阅读(32) 评论(0) 推荐(0)

上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 69 下一页

导航