What Is Object Storage?
What Is Object Storage?
https://www.ibm.com/think/topics/object-storage#:~:text=Object%20storage%2C%20often%20referred%20to%20as%20object-based%20storage%2C,volumes%20of%20static%20unstructured%20data%E2%80%94reliably%2C%20efficiently%20and%20affordably.
Object storage, often referred to as object-based storage, is a data storage architecture ideal for storing, archiving, backing up and managing high volumes of static unstructured data—reliably, efficiently and affordably.
Today’s internet communications data is largely unstructured, meaning that it does not conform to, or cannot be organized easily into, a traditional relational database with rows and columns. This includes email, videos, photos, web pages, audio files, sensor data and other types of media and web content (textual or non-textual). This content streams continuously from social media, search engines, mobile and “smart” devices.
The International Data Corporation (IDC) estimates that unstructured data is likely to represent as much as 80% of all data worldwide by the year 2025.
Enterprises are finding it challenging to efficiently (and affordably) store and manage this unprecedented volume of data. Object-based storage has emerged as the preferred method for data archiving and backup. It offers a level of scalability not possible with traditional file- or block-based storage. With object-based storage, you can store and manage data volumes on the order of terabytes (TBs), petabytes (PBs) and even greater.
https://zhuanlan.zhihu.com/p/138249069
对象存储
概述
对象存储通常会引用为基于对象的存储，它是能够处理大量非结构化数据
的数据存储架构，在众多系统中都有应用。对于部署在公有云的服务来说，公有云一般都提供对象存储服务，如阿里云的OSS,华为云
的OBS，腾讯云的COS。通过提供的SDK就可以访问。如果不想用公有云的话，也有一些开源方案可以自己搭建。
一些开源的对象存储都会遵循Amazon s3协议。Amazon s3协议定义了操作对象存储的Resestfull风格的API。通过在pom中引用aws-java-sdk-s3可以实现对存储的操作。
开源方案对比
存储的方案分成两种：一种是可以自定对象名称的，另一种是系统自动生成对象名称。
- 不能自定义名称的有领英的Ambry，MogileFS。
- TFS 是淘宝开源的，但是目前已经很少有人维护它并且也不是很活跃。
- ceph 是一个比较强大的分布式存储
- ，但是它整个系统非常复杂需要大量的人力进行维护。
- GlusterFS 为本身是一个非常成熟的对象存储的方案，2011被收购了，原班的人马又做了另外一个存储系统MINIO。
其中ceph跟minio是支持s3协议的。后面对这两种方案做了一个详细的介绍。
对象存储选型
对ceph跟minio看了一下文档，它们的对比如下：
ceph跟minio大部分的s3 API都支持。
- ceph支持s3 api的链接：https://docs.ceph.com/docs/master/radosgw/s3/#api
- minio所支持的s3 API：https://docs.min.io/docs/java-client-api-reference
https://www.zhihu.com/question/458543071/answers/updated
MinIO 是分部署文件存储，由于兼容 AWS S3 所以应用非常广泛，平时自己写的一些服务也用到 AWS S3 存储，但是国内访问必须要爬梯子有点难受，于是在自己的 MacBook 上用 Docker 部署一下吧。
首先创建一个 minio 的工作空间：
mkdir -p docker/minio cd docker/minio
https://www.cnblogs.com/loveer/p/16857625.html
分布式文件系统概念#
分布式文件系统具有冗余性，大量数据分散到不同的节点上存储。部分节点的故障并不影响整体的正常运行，而且即使出现故障的计算机存储的数据已经损坏，也可以由其它节点将损坏的数据恢复出来，大大减小了数据丢失的风险。
衡量分布式文件系统的劣势
- 数据的存储方式：无论采取何种存储方式，目的都是为了保证数据的存储安全和方便获取。
- 数据的读取速率：包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。
MinIO 特点#
- 高性能：作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GG/s的写速率
- 可扩容：不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心
- SDK支持: 基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
- 支持纠删码：MinIO使用纠删码、Checksum来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据
浙公网安备 33010602011771号