摘要：
redis protected-mode是3.2之后加入的新特性，在redis.conf的注释中，我们可以了解到它的具体作用和启用条件可以看到protected-mode是为了禁止公网访问redis cache，加强redis安全的。它启用的条件，有两个：没有bind ip没有设置访问密码如果启用了 阅读全文
posted @ 2022-04-12 18:43
郭祺迦
阅读(750)
评论(0)
推荐(0)
摘要：
1、问题描述centos下使用docker方式安装minio，运行时报错，报错详情为ERROR Unable to initialize backend: mkdir /data/.minio.sys: permission denied。2、解决方案minio官方描述如下：minio需要一个持久卷 阅读全文
posted @ 2022-04-12 09:34
郭祺迦
阅读(11630)
评论(0)
推荐(0)
摘要：
第一步：准备环境 四台服务minio服务器，一台nginx服务器 119 minio1 120 minio2 121 minio3 123 minio4 122 nginx 四台服务器都要下载minio和mc wget https://dl.min.io/server/minio/release/l 阅读全文
posted @ 2022-04-12 09:33
郭祺迦
阅读(1020)
评论(0)
推荐(0)
摘要：
分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式minio避免了单点故障 1、分布式存储可靠性常用方法分布式存储，很关键的点在于数据的可靠性，即保证数据的完整，不丢失，不损坏。只有在可靠性实现的前提下，才有了追求一致性、高可用、高性能的 阅读全文
posted @ 2022-04-12 09:32
郭祺迦
阅读(1411)
评论(0)
推荐(1)
摘要：
Minio Client(mc)为ls，cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案。它支持文件系统和兼容Amazon S3的云存储服务(AWS Signature v2和v4) Minio Client(mc)为ls，cat,cp,mirror,diff,find 阅读全文
posted @ 2022-04-12 09:32
郭祺迦
阅读(1054)
评论(0)
推荐(0)
摘要：
Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。即使你丢失一般数量(N/2)的硬盘，你仍然可以恢复数据。 纠删码是一种恢复丢失和损坏数据的数学算法，Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2奇偶校验块。这就 阅读全文
posted @ 2022-04-12 09:31
郭祺迦
阅读(1303)
评论(0)
推荐(0)
摘要：
官方文档：https://docs.min.io/docs/中文文档：http://docs.minio.org.cn/docs/(更新不及时，容易被坑)1、单机部署1.1、基于centos7部署 官方文档：https://docs.min.io/docs/中文文档：http://docs.mini 阅读全文
posted @ 2022-04-12 09:30
郭祺迦
阅读(1014)
评论(0)
推荐(0)
摘要：
Minio使用纠删码机制来保证高可靠性，使用highwayhash来处理数据损坏(Bit Rot Protection)。关于纠删码，简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数 阅读全文
posted @ 2022-04-12 09:29
郭祺迦
阅读(1349)
评论(0)
推荐(1)
摘要：
1、分布式文件系统应用场景互联网海量非结构化数据的存储需求电商网站：海量商品图片视频网站：海量视频文件网盘：海量文件社交网站：海量图片1.1、Minio介绍Minio是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的 阅读全文
posted @ 2022-04-12 09:28
郭祺迦
阅读(6606)
评论(0)
推荐(0)
摘要：
sentinel(哨兵)是用于监控redis集群中master状态的工具，是redis的高可用性解决方案。sentinel系统可以监视一个或者多个master服务，以及这些master服务的所有从服务；当某个master服务下线时，自动将该master下的某个从服务器升级为master服务替代已下线 阅读全文
posted @ 2022-04-12 09:26
郭祺迦
阅读(679)
评论(0)
推荐(0)
摘要：
单机redis的风险与问题问题1：机器故障现象：磁盘故障、系统崩溃本质：数据丢失，很可能对业务造成灾难性打击结论：基本上会放弃使用redis问题2：容量瓶颈现象：内存不足，从16G升级到64G，从64G升级到128G，无限升级内存本质：穷，硬件条件跟不上结论：放弃使用redis结论：为了避免单点re 阅读全文
posted @ 2022-04-12 09:25
郭祺迦
阅读(44)
评论(0)
推荐(0)
摘要：
XX：具有时效性的数据-1：永久有效的数据-2：已经过期的数据或被删除的数据或未定义的数据2、时效性数据的存储结构3、数据删除策略的目标在内存占用和CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露4、数据的删除策略定时删除创建一个定时器，当key设置 阅读全文
posted @ 2022-04-12 09:24
郭祺迦
阅读(108)
评论(0)
推荐(0)
摘要：
redis事务就是一个命令执行的队列，将一系列预定义命令包装成一个整体(一个队列)。当执行时，一次性按照添加顺序依次执行，中间不会被打断或者干扰。2、事务的基本操作开启事务 redis事务就是一个命令执行的队列，将一系列预定义命令包装成一个整体(一个队列)。当执行时，一次性按照添加顺序依次执行，中间 阅读全文
posted @ 2022-04-12 09:23
郭祺迦
阅读(80)
评论(0)
推荐(0)
摘要：
rdb存储的弊端：存储数据量较大，效率较低；基于快照思想，每次读写都是全部数据，当数据量过大时，效率非常低大数据量下的IO性能较低基于fork创建子进程，内存产生额外消耗宕机带来的数据丢失风险解决思路：不写全数据，仅记录部分数据降低区分数据是否改变的难度，改记录数据为记录操作过程对所有操作均进行记录 阅读全文
posted @ 2022-04-12 09:21
郭祺迦
阅读(112)
评论(0)
推荐(0)
摘要：
意外断电自动备份什么是持久化利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化为什么要进行持久化防止数据的意外丢失，确保数据安全性持久化过程保存什么将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据：RDB将数据的操作过程进行保存，日志形式 阅读全文
posted @ 2022-04-12 09:21
郭祺迦
阅读(74)
评论(0)
推荐(0)
摘要：
下载安装包 下载安装包 wget http://download.redis.io/releases/redis-?.?.?.tar.gz 解压 解压 tar -xvf 文件名.tar.gz 编译 编译 make 安装 安装 make install [destdir=/目录] 创建软链接 创建软链 阅读全文
posted @ 2022-04-12 09:20
郭祺迦
阅读(55)
评论(0)
推荐(0)
摘要：
1、key通用操作 删除指定key 删除指定key del key 获取key是否存在 获取key是否存在 exists key 获取key的类型 获取key的类型 type key 举例： 举例： # 创建 127.0.0.1:6379> set str str OK 127.0.0.1:6379 阅读全文
posted @ 2022-04-12 09:19
郭祺迦
阅读(28)
评论(0)
推荐(0)
摘要：
1、案例一 业务场景：人工智能领域的语义识别与自动对话将是未来服务业机器人应答呼叫体系中的重要技术，百度自研用户评价语义识别服务，免费开放给企业试用，同时训练百度自己的模型。现对试用用户的使用行为进行限速，限制每个用户每分钟最多发起10次调用解决方案：设计计数器，记录调用次数，用于控制业务执行次数。 阅读全文
posted @ 2022-04-12 09:18
郭祺迦
阅读(64)
评论(0)
推荐(0)
摘要：
1、业务数据的特殊性 作为缓存使用原始业务功能设计秒杀618活动双11活动排队购票运营平台监控到的突发高频访问数据突发时政要闻，被强势关注围观高频、复杂的统计数据在线人数投票排行榜附加功能系统功能优化或升级单服务器升级集群Session管理Token管理2、Redis数据类型 作为缓存使用原始业务功 阅读全文
posted @ 2022-04-12 09:16
郭祺迦
阅读(253)
评论(0)
推荐(0)
摘要：
1、redis简介问题现象海量用户高并发罪魁祸首--关系型数据库性能瓶颈：磁盘IO性能低下扩展瓶颈：数据关系复杂，扩展性查，不便于大规模集群解决思路：降级磁盘IO次数，越低越好 -- 内存存储去除数据间关系，越简单越好 --不存储关系，仅存储数据NoSQL:即Not-Only SQL(泛指非关系型的 阅读全文
posted @ 2022-04-12 09:11
郭祺迦
阅读(27)
评论(0)
推荐(0)
浙公网安备 33010602011771号