2021年7月16日

摘要: 使用java实现s3协议多线程下载对象 package GeneratePresignedUrlAndUploadObject; import java.io.BufferedInputStream; import java.io.IOException; import java.io.InputS 阅读全文
posted @ 2021-07-16 14:05 blogzjt 阅读(1062) 评论(0) 推荐(0) 编辑

2021年6月22日

摘要: 前言:访问s3对象存储可以通过官方的sdk和使用restful的方式来访问。推荐使用sdk的方式,因为sdk不需要计算签名并且有完整的错误机制。下面是使用restful的方式来进行访问 参考aws api资料 https://docs.aws.amazon.com/zh_cn/AmazonS3/la 阅读全文
posted @ 2021-06-22 10:04 blogzjt 阅读(1610) 评论(0) 推荐(0) 编辑

2019年12月6日

摘要: Pg和pgp的含义: PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数 PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中 PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动 存储池pg的计算: Pg数量=(osd数量*200 阅读全文
posted @ 2019-12-06 16:01 blogzjt 阅读(1701) 评论(0) 推荐(0) 编辑

2019年12月5日

摘要: osd对象存储设备: ceph中数据存储过程首先数据会被分割成多个object,(每个object一个object id,大小可设置,默认是4MB),object是Ceph存储的最小存储单元。由于object的数量很多,为了有效减少了Object到OSD的索引表、降低元数据的复杂度,使得写入和读取更 阅读全文
posted @ 2019-12-05 16:46 blogzjt 阅读(2895) 评论(0) 推荐(0) 编辑

2019年12月4日

摘要: Cluster map 存储了整个集群的数据的分布以及成员包括mon map ,osd map, pg map,crush map。cluster map不仅存储在monitor节点,它被复制到集群中的每一个存储节点,以及和集群交互的client。当因为一些原因,比如设备崩溃、数据迁移等,clust 阅读全文
posted @ 2019-12-04 20:50 blogzjt 阅读(7906) 评论(0) 推荐(0) 编辑

2019年12月3日

摘要: ceph 常用基础命令: 如果在某些地方碰到麻烦,想从头再来,可以用下列命令清除配置: ceph-deploy purgedata {ceph-node} [{ceph-node}] //清除节点所有的数据在/var/lib/ceph ceph-deploy forgetkeys //删除密钥 用下 阅读全文
posted @ 2019-12-03 18:14 blogzjt 阅读(6260) 评论(0) 推荐(0) 编辑

2019年12月2日

摘要: 安装前的准备:配置时间同步服务chrony、作ssh免密、关闭防火墙、配置selinux,修改主机名 1、配置时间同步服务chrony,让所有部署节点作为其他所有节点的时间同步服务器,首先在部署节点上用ntpdate asia.pool.ntp.org 将时间同步到最新,完后添加一个定时任务每5分钟 阅读全文
posted @ 2019-12-02 15:54 blogzjt 阅读(700) 评论(0) 推荐(0) 编辑