Minio

Minio

【一】介绍

MinIO 是一个开源对象存储服务器，兼容 Amazon S3 云存储服务。它设计用于存储非结构化数据，如照片、视频、日志文件、备份和容器镜像。MinIO 可以用于构建高性能的基础设施，以支持机器学习、分析和应用数据工作负载。

MinIO 的主要特性包括：

  1. S3 兼容性：MinIO 提供与 Amazon S3 API 高度兼容的接口，便于与使用 S3 的现有应用集成。
  2. 高性能：MinIO 优化了高性能处理，能够低延迟地处理大量数据。
  3. 可扩展性：MinIO 可以横向扩展到多个节点，以满足不断增长的存储需求。
  4. 安全性：MinIO 支持多种安全功能，包括加密、身份管理和访问控制。
  5. 简单部署：MinIO 易于部署，可以在任何硬件上运行，无论是本地部署、云端还是边缘设备。

【二】安装

【1】自建Minio

【1.1】docker-compose.yml

version: '3'

services:
  minio:
    image: minio/minio  	## 基于minio官方镜像
    container_name: minio   ## 容器名
    ports:		## 端口映射
      - "9000:9000"
      - "9090:9090"
    environment:   ## 设置环境变量
      - MINIO_ACCESS_KEY=lea4ning
      - MINIO_SECRET_KEY=12345678  # 密码最少8位
    volumes:		## 文件映射
      - ~/project/minio/data:/data
      - ~/project/minio/config:/root/.minio
    restart: always
    command: server /data --console-address ":9090" --address ":9000"

# --console-address ":9090"   # 后台控制台端口   # 后台登录账号密码就是上面设置的access_key 和 secret_key
# --address ":9000"  # 上传文件端口

【1.2】启动

# 创建文件夹
mkdir data
mkdir config
# 切换工作目录到包含 docker-compose.yml 文件下的文件夹
# 启动
docker-compose up --build -d
# 访问【服务器ip:9090】 即可访问控制台

【三】使用

【1】python操作minio

python操作minio的API指南:https://min.io/docs/minio/linux/developers/python/API.html

【1.1】创建实例

pip install minio  ## 安装模块
  • Minio(endpoint,access_key=None,secret_key=None， session_token=None,secure=True,region=None,http_client=None,credentials=None)

参数

参数 类型 描述
endpoint str S3 服务的主机名。
access_key str （可选）您在 S3 服务中账户的访问密钥（又名用户 ID）。
secret_key str （可选）您在 S3 服务中的账户的私有密钥（又名密码）。
session_token str （可选）您在 S3 服务中的账户的会话令牌。
secure 布尔 （可选）指示是否使用与 S3 服务的安全 （TLS） 连接的标志。
region str （可选）S3 服务中存储桶的区域名称。
http_client urllib3.poolmanager.PoolManager （可选）自定义 HTTP 客户端。
credentials minio.credentials.Provider （可选）您在 S3 服务中账户的凭证提供商。
cert_check 布尔 （可选）用于检查服务器证书上是否存在 HTTPS 连接的标志。

【1.2】桶操作

make_bucket（bucket_name， location='us-east-1'， object_lock=False）

创建具有区域和对象锁定的存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
location str 将在其中创建存储桶的区域。
object_lock 布尔 标志以设置对象锁定功能。

例

## Create bucket.
client.make_bucket("my-bucket")

## Create bucket on specific region.
client.make_bucket("my-bucket", "us-west-1")

## Create bucket with object-lock feature on specific region.
client.make_bucket("my-bucket", "eu-west-2", object_lock=True)
list_buckets（）

列出所有可访问存储桶的信息。

参数

返回
存储桶列表

例

buckets = client.list_buckets()
for bucket in buckets:
    print(bucket.name, bucket.creation_date)
bucket_exists（bucket_name）

检查存储桶是否存在。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

if client.bucket_exists("my-bucket"):
    print("my-bucket exists")
else:
    print("my-bucket does not exist")
remove_bucket（bucket_name）

移除空桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.remove_bucket("my-bucket")
list_objects（bucket_name， prefix=None， recursive=False， start_after=None， include_user_meta=False， include_version=False， use_api_v1=False， use_url_encoding_type=True）

列出存储桶的对象信息。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
prefix str 对象名称以前缀开头。
recursive 布尔 列表递归方式而不是目录结构仿真。
start_after str 在此键名称后面列出对象。
include_user_meta 布尔 要控制以包含用户元数据的 MinIO 特定标志。
include_version 布尔 用于控制是否包含对象版本的标志。
use_api_v1 布尔 要控制是否使用 ListObjectV1 S3 API 的标志。
use_url_encoding_type 布尔 用于控制是否使用 URL 编码类型的标志。

返回值

返回
Object 的迭代器

例

## List objects information.
objects = client.list_objects("my-bucket")
for obj in objects:
    print(obj)

## List objects information whose names starts with "my/prefix/".
objects = client.list_objects("my-bucket", prefix="my/prefix/")
for obj in objects:
    print(obj)

## List objects information recursively.
objects = client.list_objects("my-bucket", recursive=True)
for obj in objects:
    print(obj)

## List objects information recursively whose names starts with
## "my/prefix/".
objects = client.list_objects(
    "my-bucket", prefix="my/prefix/", recursive=True,
)
for obj in objects:
    print(obj)

## List objects information recursively after object name
## "my/prefix/world/1".
objects = client.list_objects(
    "my-bucket", recursive=True, start_after="my/prefix/world/1",
)
for obj in objects:
    print(obj)
get_bucket_policy（bucket_name）

获取存储桶的存储桶策略配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

返回值

参数
存储桶策略配置为 JSON 字符串。

例

policy = client.get_bucket_policy("my-bucket")
set_bucket_policy（bucket_name，政策）

将存储桶策略配置设置为存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
Policy str 存储桶策略配置为 JSON 字符串。

例

## Example anonymous read-only bucket policy.
policy = {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {"AWS": "*"},
            "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
            "Resource": "arn:aws:s3:::my-bucket",
        },
        {
            "Effect": "Allow",
            "Principal": {"AWS": "*"},
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::my-bucket/*",
        },
    ],
}
client.set_bucket_policy("my-bucket", json.dumps(policy))

## Example anonymous read-write bucket policy.
policy = {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {"AWS": "*"},
            "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
            ],
            "Resource": "arn:aws:s3:::my-bucket",
        },
        {
            "Effect": "Allow",
            "Principal": {"AWS": "*"},
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
            ],
            "Resource": "arn:aws:s3:::my-bucket/images/*",
        },
    ],
}
client.set_bucket_policy("my-bucket", json.dumps(policy))
delete_bucket_policy（bucket_name）

删除存储桶的存储桶策略配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_bucket_policy("my-bucket")
get_bucket_notification（bucket_name）

获取存储桶的通知配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

返回值

参数
NotificationConfig 对象。

例

config = client.get_bucket_notification("my-bucket")
set_bucket_notification（bucket_name，配置）

设置存储桶的通知配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
config 通知配置 通知配置。

例

config = NotificationConfig(
    queue_config_list=[
        QueueConfig(
            "QUEUE-ARN-OF-THIS-BUCKET",
            ["s3:ObjectCreated:*"],
            config_id="1",
            prefix_filter_rule=PrefixFilterRule("abc"),
        ),
    ],
)
client.set_bucket_notification("my-bucket", config)
delete_bucket_notification（bucket_name）

删除存储桶的通知配置。成功后，S3 服务将停止对存储桶之前设置的事件的通知。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_bucket_notification("my-bucket")
listen_bucket_notification（bucket_name， prefix=''， suffix=''， events=（'s3：ObjectCreated：'， 's3：ObjectRemoved：'， 's3：ObjectAccessed：*'））

监听存储桶的对象前缀和后缀事件。调用方应迭代返回的迭代器以读取新事件。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
prefix str 对象的侦听事件以前缀开头。
suffix str 对象的侦听事件以后缀结尾。
events 列表 要收听的事件。

返回值

参数
事件记录的迭代器作为字典 
with client.listen_bucket_notification(
    "my-bucket",
    prefix="my-prefix/",
    events=["s3:ObjectCreated:*", "s3:ObjectRemoved:*"],
) as events:
    for event in events:
        print(event)
get_bucket_encryption（bucket_name）

获取存储桶的加密配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

返回值

参数
SSEConfig 对象。

例

config = client.get_bucket_encryption("my-bucket")
set_bucket_encryption（bucket_name，配置）

设置存储桶的加密配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
config 上交所 服务器端加密配置。

例

client.set_bucket_encryption(
    "my-bucket", SSEConfig(Rule.new_sse_s3_rule()),
)
delete_bucket_encryption（bucket_name）

删除存储桶的加密配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_bucket_encryption("my-bucket")
get_bucket_versioning（bucket_name）

获取存储桶的版本控制配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

config = client.get_bucket_versioning("my-bucket")
print(config.status)
set_bucket_versioning（bucket_name， 配置）

将版本控制配置设置为存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
config 版本控制配置 版本控制配置。

例

client.set_bucket_versioning("my-bucket", VersioningConfig(ENABLED))
delete_bucket_replication（bucket_name）

删除存储桶的复制配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_bucket_replication("my-bucket")
get_bucket_replication（bucket_name）

获取存储桶的复制配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
返回
ReplicationConfig 对象。

例

config = client.get_bucket_replication("my-bucket")
set_bucket_replication（bucket_name，配置）

将复制配置设置为存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
config 复制配置 复制配置。

例

config = ReplicationConfig(
    "REPLACE-WITH-ACTUAL-ROLE",
    [
        Rule(
            Destination(
                "REPLACE-WITH-ACTUAL-DESTINATION-BUCKET-ARN",
            ),
            ENABLED,
            delete_marker_replication=DeleteMarkerReplication(
                DISABLED,
            ),
            rule_filter=Filter(
                AndOperator(
                    "TaxDocs",
                    {"key1": "value1", "key2": "value2"},
                ),
            ),
            rule_id="rule1",
            priority=1,
        ),
    ],
)
client.set_bucket_replication("my-bucket", config)
delete_bucket_lifecycle（bucket_name）

删除存储桶的生命周期配置。

Parameters

Param Type Description
bucket_name str Name of the bucket.

Example

client.delete_bucket_lifecycle("my-bucket")
get_bucket_lifecycle(bucket_name)

Get lifecycle configuration of a bucket.

Parameters

Param Type Description
bucket_name str Name of the bucket.
Return
LifecycleConfig object.

Example

config = client.get_bucket_lifecycle("my-bucket")
set_bucket_lifecycle(bucket_name, config)

Set lifecycle configuration to a bucket.

Parameters

Param Type Description
bucket_name str Name of the bucket.
config LifecycleConfig Lifecycle configuration.

例

config = LifecycleConfig(
    [
        Rule(
            ENABLED,
            rule_filter=Filter(prefix="documents/"),
            rule_id="rule1",
            transition=Transition(days=30, storage_class="GLACIER"),
        ),
        Rule(
            ENABLED,
            rule_filter=Filter(prefix="logs/"),
            rule_id="rule2",
            expiration=Expiration(days=365),
        ),
    ],
)
client.set_bucket_lifecycle("my-bucket", config)
delete_bucket_tags（bucket_name）

删除存储桶的标签配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_bucket_tags("my-bucket")
get_bucket_tags（bucket_name）

获取存储桶的标签配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
返回
Tags 对象。

例

tags = client.get_bucket_tags("my-bucket")
set_bucket_tags（bucket_name，标签）

将标签配置设置为存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
tags 标签 标记配置。

例

tags = Tags.new_bucket_tags()
tags["Project"] = "Project One"
tags["User"] = "jsmith"
client.set_bucket_tags("my-bucket", tags)
delete_object_lock_config（bucket_name）

删除存储桶的对象锁定配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。

例

client.delete_object_lock_config("my-bucket")
get_object_lock_config（bucket_name）

获取存储桶的对象锁定配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
返回
ObjectLockConfig 对象。

例

config = client.get_object_lock_config("my-bucket")
set_object_lock_config（bucket_name，配置）

将对象锁定配置设置为存储桶。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
config 对象LockConfig 对象锁定配置。

例

config = ObjectLockConfig(GOVERNANCE, 15, DAYS)
client.set_object_lock_config("my-bucket", config)

【1.3】对象操作

get_object（bucket_name， object_name， offset=0， length=0， request_headers=None， ssec=None， version_id=None， extra_query_params=None）

获取从偏移量到对象长度的数据。返回的响应在使用后应关闭，以释放网络资源。若要重用连接，需要显式调用。response.release_conn()

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
offset 整数 对象数据的起始字节位置。
length 整数 来自偏移量的对象数据的字节数。
request_headers 字典 要随 GET 请求添加的任何其他标头。
ssec SseCustomerKey 服务器端加密客户密钥。
version_id str 对象的版本 ID。
extra_query_params 字典 用于高级使用的额外查询参数。

返回值

返回
urllib3.response.HTTPResponse 对象。

例

## Get data of an object.
try:
    response = client.get_object("my-bucket", "my-object")
    ## Read data from response.
finally:
    response.close()
    response.release_conn()

## Get data of an object of version-ID.
try:
    response = client.get_object(
        "my-bucket", "my-object",
        version_id="dfbd25b3-abec-4184-a4e8-5a35a5c1174d",
    )
    ## Read data from response.
finally:
    response.close()
    response.release_conn()

## Get data of an object from offset and length.
try:
    response = client.get_object(
        "my-bucket", "my-object", offset=512, length=1024,
    )
    ## Read data from response.
finally:
    response.close()
    response.release_conn()

## Get data of an SSE-C encrypted object.
try:
    response = client.get_object(
        "my-bucket", "my-object",
        ssec=SseCustomerKey(b"32byteslongsecretkeymustprovided"),
    )
    ## Read data from response.
finally:
    response.close()
    response.release_conn()
select_object_content（bucket_name、object_name、请求）

按 SQL 表达式选择对象的内容。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
request 选择请求 选择请求。

返回值

返回
读取器以 SelectObjectReader 的形式包含请求的记录和进度信息

例

with client.select_object_content(
        "my-bucket",
        "my-object.csv",
        SelectRequest(
            "select * from S3Object",
            CSVInputSerialization(),
            CSVOutputSerialization(),
            request_progress=True,
        ),
) as result:
    for data in result.stream():
        print(data.decode())
    print(result.stats())
fget_object（bucket_name、object_name、file_path、request_headers=无、ssec=无、version_id=无、extra_query_params=无、tmp_file_path=无）

将对象的数据下载到文件。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
file_path str 要下载的文件的名称。
request_headers 字典 要随 GET 请求添加的任何其他标头。
ssec SseCustomerKey 服务器端加密客户密钥。
version_id str 对象的版本 ID。
extra_query_params 字典 用于高级使用的额外查询参数。
tmp_file_path str 临时文件的路径。

返回值

返回
对象信息作为对象

例

## Download data of an object.
client.fget_object("my-bucket", "my-object", "my-filename")

## Download data of an object of version-ID.
client.fget_object(
    "my-bucket", "my-object", "my-filename",
    version_id="dfbd25b3-abec-4184-a4e8-5a35a5c1174d",
)

## Download data of an SSE-C encrypted object.
client.fget_object(
    "my-bucket", "my-object", "my-filename",
    ssec=SseCustomerKey(b"32byteslongsecretkeymustprovided"),
)

通过服务器端从另一个对象复制数据来创建对象。在此 API 中，支持的最大源对象大小为 5GiB。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
source 复制源 源对象信息。
sse 上交所 目标对象的服务器端加密。
metadata 字典 要与目标对象一起复制的任何用户定义的元数据。
tags 标签 目标对象的标记。
retention 保留 保留配置。
legal_hold 布尔 用于为目标对象设置合法保留的标志。
metadata_directive str 用于处理目标对象的用户元数据的指令。
tagging_directive str 用于处理目标对象的标记的指令。

返回值

返回
ObjectWriteResult 对象。

例

from datetime import datetime, timezone
from minio.commonconfig import REPLACE, CopySource

## copy an object from a bucket to another.
result = client.copy_object(
    "my-bucket",
    "my-object",
    CopySource("my-sourcebucket", "my-sourceobject"),
)
print(result.object_name, result.version_id)

## copy an object with condition.
result = client.copy_object(
    "my-bucket",
    "my-object",
    CopySource(
        "my-sourcebucket",
        "my-sourceobject",
        modified_since=datetime(2014, 4, 1, tzinfo=timezone.utc),
    ),
)
print(result.object_name, result.version_id)

## copy an object from a bucket with replacing metadata.
metadata = {"test_meta_key": "test_meta_value"}
result = client.copy_object(
    "my-bucket",
    "my-object",
    CopySource("my-sourcebucket", "my-sourceobject"),
    metadata=metadata,
    metadata_directive=REPLACE,
)
print(result.object_name, result.version_id)
compose_object（bucket_name、object_name、sources、sse=None、metadata=None、tags=None、retention=None、legal_hold=False）

通过使用服务器端复制合并来自不同源对象的数据来创建对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
sources 列表 ComposeSource 对象的列表。
sse 上交所 目标对象的服务器端加密。
metadata 字典 要与目标对象一起复制的任何用户定义的元数据。
tags 标签 目标对象的标记。
retention 保留 保留配置。
legal_hold 布尔 用于为目标对象设置合法保留的标志。

返回值

返回
ObjectWriteResult 对象。

例

from minio.commonconfig import ComposeSource
from minio.sse import SseS3

sources = [
    ComposeSource("my-job-bucket", "my-object-part-one"),
    ComposeSource("my-job-bucket", "my-object-part-two"),
    ComposeSource("my-job-bucket", "my-object-part-three"),
]

## Create my-bucket/my-object by combining source object
## list.
result = client.compose_object("my-bucket", "my-object", sources)
print(result.object_name, result.version_id)

## Create my-bucket/my-object with user metadata by combining
## source object list.
result = client.compose_object(
    "my-bucket",
    "my-object",
    sources,
    metadata={"test_meta_key": "test_meta_value"},
)
print(result.object_name, result.version_id)

## Create my-bucket/my-object with user metadata and
## server-side encryption by combining source object list.
client.compose_object("my-bucket", "my-object", sources, sse=SseS3())
print(result.object_name, result.version_id)
put_object（bucket_name， object_name， data， length， content_type=“application/octet-stream”， metadata=None， sse=None， progress=None， part_size=0， num_parallel_uploads=3， tags=None， retention=None， legal_hold=False）

将数据从流上传到存储桶中的对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
data 对象 具有可调用的 read（） 返回 bytes 对象的对象。
length 整数 数据大小;-1 表示未知大小，并设置有效part_size。
content_type str 对象的内容类型。
metadata 字典 与您的 PUT 请求一起上传的任何其他元数据。
sse 上交所 服务器端加密。
progress 线程 进度对象。
part_size 整数 多部件零件尺寸。
tags 标签 对象的标记。
retention 保留 保留配置。
legal_hold 布尔 标志为对象设置合法保留。

返回值

返回
ObjectWriteResult 对象。

例

## Upload data.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload unknown sized data.
data = urlopen(
    "https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.4.81.tar.xz",
)
result = client.put_object(
    "my-bucket", "my-object", data, length=-1, part_size=10*1024*1024,
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with content-type.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    content_type="application/csv",
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with metadata.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    metadata={"My-Project": "one"},
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with customer key type of server-side encryption.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    sse=SseCustomerKey(b"32byteslongsecretkeymustprovided"),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with KMS type of server-side encryption.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    sse=SseKMS("KMS-KEY-ID", {"Key1": "Value1", "Key2": "Value2"}),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with S3 type of server-side encryption.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    sse=SseS3(),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with tags, retention and legal-hold.
date = datetime.utcnow().replace(
    hour=0, minute=0, second=0, microsecond=0,
) + timedelta(days=30)
tags = Tags(for_object=True)
tags["User"] = "jsmith"
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    tags=tags,
    retention=Retention(GOVERNANCE, date),
    legal_hold=True,
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with progress bar.
result = client.put_object(
    "my-bucket", "my-object", io.BytesIO(b"hello"), 5,
    progress=Progress(),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)
fput_object（bucket_name， object_name， file_path， content_type=“application/octet-stream”， metadata=None， sse=None， progress=None， part_size=0， num_parallel_uploads=3， tags=None， retention=None， legal_hold=False）

将数据从文件上传到存储桶中的对象。

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
file_path str 要上传的文件的名称。
content_type str 对象的内容类型。
metadata 字典 与您的 PUT 请求一起上传的任何其他元数据。
sse 上交所 服务器端加密。
progress 线程 进度对象。
part_size 整数 多部件零件尺寸。
tags 标签 对象的标记。
retention 保留 保留配置。
legal_hold 布尔 标志为对象设置合法保留。

返回值

返回
ObjectWriteResult 对象。

例

## Upload data.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with content-type.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    content_type="application/csv",
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with metadata.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    metadata={"My-Project": "one"},
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with customer key type of server-side encryption.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    sse=SseCustomerKey(b"32byteslongsecretkeymustprovided"),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with KMS type of server-side encryption.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    sse=SseKMS("KMS-KEY-ID", {"Key1": "Value1", "Key2": "Value2"}),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with S3 type of server-side encryption.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    sse=SseS3(),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with tags, retention and legal-hold.
date = datetime.utcnow().replace(
    hour=0, minute=0, second=0, microsecond=0,
) + timedelta(days=30)
tags = Tags(for_object=True)
tags["User"] = "jsmith"
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    tags=tags,
    retention=Retention(GOVERNANCE, date),
    legal_hold=True,
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)

## Upload data with progress bar.
result = client.fput_object(
    "my-bucket", "my-object", "my-filename",
    progress=Progress(),
)
print(
    "created {0} object; etag: {1}, version-id: {2}".format(
        result.object_name, result.etag, result.version_id,
    ),
)
stat_object（bucket_name， object_name， ssec=无， version_id=无， extra_query_params=无）

获取对象信息和对象的元数据。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
ssec SseCustomerKey 服务器端加密客户密钥。
version_id str 对象的版本 ID。
extra_headers 字典 用于高级使用的额外 HTTP 标头。
extra_query_params 字典 用于高级使用的额外查询参数。

返回值

返回
对象信息作为对象

例

## Get object information.
result = client.stat_object("my-bucket", "my-object")
print(
    "last-modified: {0}, size: {1}".format(
        result.last_modified, result.size,
    ),
)

## Get object information of version-ID.
result = client.stat_object(
    "my-bucket", "my-object",
    version_id="dfbd25b3-abec-4184-a4e8-5a35a5c1174d",
)
print(
    "last-modified: {0}, size: {1}".format(
        result.last_modified, result.size,
    ),
)

## Get SSE-C encrypted object information.
result = client.stat_object(
    "my-bucket", "my-object",
    ssec=SseCustomerKey(b"32byteslongsecretkeymustprovided"),
)
print(
    "last-modified: {0}, size: {1}".format(
        result.last_modified, result.size,
    ),
)
remove_object（bucket_name， object_name， version_id=无）

删除对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

例

## Remove object.
client.remove_object("my-bucket", "my-object")

## Remove version of an object.
client.remove_object(
    "my-bucket", "my-object",
    version_id="dfbd25b3-abec-4184-a4e8-5a35a5c1174d",
)
remove_objects（bucket_name， delete_object_list， bypass_governance_mode=False）

删除多个对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
delete_object_list 可迭代 包含 ：class： 对象的可迭代对象。DeleteObject <DeleteObject>
bypass_governance_mode 布尔 绕过治理保留模式。

返回值

返回
包含 ：class： 对象的迭代器DeleteError <DeleteError>

例

## Remove list of objects.
errors = client.remove_objects(
    "my-bucket",
    [
        DeleteObject("my-object1"),
        DeleteObject("my-object2"),
        DeleteObject("my-object3", "13f88b18-8dcd-4c83-88f2-8631fdb6250c"),
    ],
)
for error in errors:
    print("error occurred when deleting object", error)

## Remove a prefix recursively.
delete_object_list = map(
    lambda x: DeleteObject(x.object_name),
    client.list_objects("my-bucket", "my/prefix/", recursive=True),
)
errors = client.remove_objects("my-bucket", delete_object_list)
for error in errors:
    print("error occurred when deleting object", error)
delete_object_tags（bucket_name， object_name， version_id=无）

删除对象的标签配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

例

client.delete_object_tags("my-bucket", "my-object")
get_object_tags（bucket_name， object_name， version_id=无）

获取对象的标签配置。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。
返回
Tags 对象。

例

tags = client.get_object_tags("my-bucket", "my-object")
set_object_tags（bucket_name、object_name、标签、version_id=无）

将标签配置设置为对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
tags 标签 标记配置。
version_id str 对象的版本 ID。

例

tags = Tags.new_object_tags()
tags["Project"] = "Project One"
tags["User"] = "jsmith"
client.set_object_tags("my-bucket", "my-object", tags)

启用对对象的合法保留。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

例

client.enable_object_legal_hold("my-bucket", "my-object")

禁用对对象的合法保留。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

例

client.disable_object_legal_hold("my-bucket", "my-object")

如果在对象上启用了合法保留，则返回 true。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

例

if client.is_object_legal_hold_enabled("my-bucket", "my-object"):
    print("legal hold is enabled on my-object")
else:
    print("legal hold is not enabled on my-object")
get_object_retention（bucket_name， object_name， version_id=无）

获取对象的保留信息。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
version_id str 对象的版本 ID。

返回值

返回
保留对象

例

config = client.get_object_retention("my-bucket", "my-object")
set_object_retention（bucket_name， object_name， 配置， version_id=无）

将保留信息设置为对象。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
config 保留 保留配置。
version_id str 对象的版本 ID。

例

config = Retention(GOVERNANCE, datetime.utcnow() + timedelta(days=10))
client.set_object_retention("my-bucket", "my-object", config)
presigned_get_object（bucket_name， object_name， expires=timedelta（days=7）， response_headers=None， request_date=None， version_id=None， extra_query_params=None）

获取对象的预签名 URL，以下载其数据，其中包含到期时间和自定义请求参数。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
expires 日期时间.timedelta 在几秒钟内过期;默认值为 7 天。
response_headers 字典 可选的 response_headers 参数，用于指定响应字段，如日期、大小、文件类型、有关服务器的数据等。
request_date 日期时间.datetime 用于指定其他请求日期的可选 request_date 参数。默认值为当前日期。
version_id str 对象的版本 ID。
extra_query_params 字典 用于高级使用的额外查询参数。

返回值

返回
URL 字符串

例

## Get presigned URL string to download 'my-object' in
## 'my-bucket' with default expiry (i.e. 7 days).
url = client.presigned_get_object("my-bucket", "my-object")
print(url)

## Get presigned URL string to download 'my-object' in
## 'my-bucket' with two hours expiry.
url = client.presigned_get_object(
    "my-bucket", "my-object", expires=timedelta(hours=2),
)
print(url)
presigned_put_object（bucket_name， object_name， expires=timedelta（days=7））

获取对象的预签名 URL，以上传具有到期时间和自定义请求参数的数据。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
expires 日期时间.timedelta 在几秒钟内过期;默认值为 7 天。

返回值

返回
URL 字符串

例

## Get presigned URL string to upload data to 'my-object' in
## 'my-bucket' with default expiry (i.e. 7 days).
url = client.presigned_put_object("my-bucket", "my-object")
print(url)

## Get presigned URL string to upload data to 'my-object' in
## 'my-bucket' with two hours expiry.
url = client.presigned_put_object(
    "my-bucket", "my-object", expires=timedelta(hours=2),
)
print(url)
presigned_post_policy（政策）

获取对象的 PostPolicy 的表单数据，使用 POST 方法上传其数据。

参数

参数 类型 描述
policy 邮政政策 发布策略。

返回值

返回
包含字典的表单数据

例

policy = PostPolicy(
    "my-bucket", datetime.utcnow() + timedelta(days=10),
)
policy.add_starts_with_condition("key", "my/object/prefix/")
policy.add_content_length_range_condition(
    1*1024*1024, 10*1024*1024,
)
form_data = client.presigned_post_policy(policy)
get_presigned_url（方法、bucket_name、object_name、expires=timedelta（days=7）、response_headers=None、request_date=None、version_id=None、extra_query_params=None）

获取对象的预签名 URL，用于 HTTP 方法、到期时间和自定义请求参数。

参数

参数 类型 描述
method str HTTP 方法。
bucket_name str 存储桶的名称。
object_name str 存储桶中的对象名称。
expires 日期时间.timedelta 在几秒钟内过期;默认值为 7 天。
response_headers 字典 可选的 response_headers 参数，用于指定响应字段，如日期、大小、文件类型、有关服务器的数据等。
request_date 日期时间.datetime 用于指定其他请求日期的可选 request_date 参数。默认值为当前日期。
version_id str 对象的版本 ID。
extra_query_params 字典 用于高级使用的额外查询参数。

返回值

返回
URL 字符串

例

## Get presigned URL string to delete 'my-object' in
## 'my-bucket' with one day expiry.
url = client.get_presigned_url(
    "DELETE",
    "my-bucket",
    "my-object",
    expires=timedelta(days=1),
)
print(url)

## Get presigned URL string to upload 'my-object' in
## 'my-bucket' with response-content-type as application/json
## and one day expiry.
url = client.get_presigned_url(
    "PUT",
    "my-bucket",
    "my-object",
    expires=timedelta(days=1),
    response_headers={"response-content-type": "application/json"},
)
print(url)

## Get presigned URL string to download 'my-object' in
## 'my-bucket' with two hours expiry.
url = client.get_presigned_url(
    "GET",
    "my-bucket",
    "my-object",
    expires=timedelta(hours=2),
)
print(url)
upload_snowball_objects（bucket_name、object_list、元数据=无、sse=无、标记=无、保留=无、legal_hold=假、staging_filename=无、压缩=假）

在一次 put 调用中上传多个对象。它是通过创建中间 TAR 文件来完成的，该文件可以选择压缩并上传到 S3 服务。

参数

参数 类型 描述
bucket_name str 存储桶的名称。
object_list 可迭代 包含 ：class： 对象的可迭代对象。SnowballObject <SnowballObject>
metadata 字典 与您的 PUT 请求一起上传的任何其他元数据。
sse 上交所 服务器端加密。
tags 标签 对象的标记。
retention 保留 保留配置。
legal_hold 布尔 标志为对象设置合法保留。
staging_filename str 用于创建中间压缩包的暂存文件名。
compression 布尔 用于压缩压缩包的标志。

返回值

返回
ObjectWriteResult 对象。

例

## Upload snowball object.
client.upload_snowball_objects(
    "my-bucket",
    [
        SnowballObject("my-object1", filename="/etc/hostname"),
        SnowballObject(
            "my-object2", data=io.BytesIO("hello"), length=5,
        ),
        SnowballObject(
            "my-object3", data=io.BytesIO("world"), length=5,
            mod_time=datetime.now(),
        ),
    ],
)

【1.3】案例

from minio import Minio
from minio.error import S3Error


def main():
    # Create a client with the MinIO server playground, its access key
    # and secret key.
    client = Minio("ip:9000",
                   access_key="lea4ning",
                   secret_key="12345678",
                   secure=False
                   )  # secure 如果为True使用https，false使用http
    # The file to upload, change this path if needed
    source_file = "./1.txt"

    # The destination bucket and filename on the MinIO server
    bucket_name = "resource"
    destination_file = "1.txt"

    # Make the bucket if it doesn't exist.
    found = client.bucket_exists(bucket_name)
    if not found:
        client.make_bucket(bucket_name)
        print("Created bucket", bucket_name)
    else:
        print("Bucket", bucket_name, "already exists")

    # Upload the file, renaming it in the process
    client.fput_object(
        bucket_name, destination_file, source_file,
    )
    print(
        source_file, "successfully uploaded as object",
        destination_file, "to bucket", bucket_name,
    )


if __name__ == "__main__":
    try:
        main()
    except S3Error as exc:
        print("error occurred.", exc)

image-20240627171223081

【2】权限设置

  • 创建用户

image-20240701145256669

  • 调整权限内容

image-20240701145443679

  • 权限内容为json格式字符串

【2.1】基本语法

  • Version：策略的版本号，通常为 2012-10-17。
  • Statement：策略语句的数组，每个语句定义一组权限。
    • Effect：操作的效果，可以是 Allow（允许）或 Deny（拒绝）。
    • Action：允许或拒绝的操作，如 s3:ListBucket，s3:GetObject 等。
    • Resource：操作适用的资源，可以是特定的存储桶或对象。
    • Condition（可选）：操作的条件。

【2.2】Action常见参数

存储桶级操作
  • s3:ListBucket：列出存储桶中的对象。
  • s3:ListBucketMultipartUploads：列出存储桶中的多部分上传。
  • s3:ListBucketVersions：列出存储桶中的所有版本。
  • s3:GetBucketLocation：获取存储桶的位置。
  • s3:GetBucketPolicy：获取存储桶的策略。
  • s3:PutBucketPolicy：设置存储桶的策略。
  • s3:DeleteBucketPolicy：删除存储桶的策略。
  • s3:GetBucketAcl：获取存储桶的 ACL（访问控制列表）。
  • s3:PutBucketAcl：设置存储桶的 ACL。
  • s3:GetBucketNotification：获取存储桶的通知配置。
  • s3:PutBucketNotification：设置存储桶的通知配置。
  • s3:GetBucketLogging：获取存储桶的日志记录配置。
  • s3:PutBucketLogging：设置存储桶的日志记录配置。
  • s3:GetBucketTagging：获取存储桶的标签。
  • s3:PutBucketTagging：设置存储桶的标签。
  • s3:DeleteBucketTagging：删除存储桶的标签。
  • s3:GetBucketVersioning：获取存储桶的版本控制配置。
  • s3:PutBucketVersioning：设置存储桶的版本控制配置。
  • s3:GetBucketLifecycle：获取存储桶的生命周期配置。
  • s3:PutBucketLifecycle：设置存储桶的生命周期配置。
  • s3:GetBucketCors：获取存储桶的跨域资源共享（CORS）配置。
  • s3:PutBucketCors：设置存储桶的 CORS 配置。
  • s3:DeleteBucketCors：删除存储桶的 CORS 配置。
  • s3:GetBucketRequestPayment：获取存储桶的请求支付配置。
  • s3:PutBucketRequestPayment：设置存储桶的请求支付配置。
  • s3:GetBucketWebsite：获取存储桶的网站配置。
  • s3:PutBucketWebsite：设置存储桶的网站配置。
  • s3:DeleteBucketWebsite：删除存储桶的网站配置。
  • s3:GetBucketReplication：获取存储桶的复制配置。
  • s3:PutBucketReplication：设置存储桶的复制配置。
  • s3:DeleteBucketReplication：删除存储桶的复制配置。
对象级操作
  • s3:GetObject：获取对象数据。
  • s3:PutObject：上传对象数据。
  • s3:DeleteObject：删除对象。
  • s3:GetObjectAcl：获取对象的 ACL。
  • s3:PutObjectAcl：设置对象的 ACL。
  • s3:RestoreObject：还原归档对象。
  • s3:AbortMultipartUpload：终止多部分上传。
  • s3:ListMultipartUploadParts：列出多部分上传的所有部分。
多部分上传操作
  • s3:InitiateMultipartUpload：初始化多部分上传。
  • s3:CompleteMultipartUpload：完成多部分上传。
  • s3:UploadPart：上传多部分中的一个部分。
  • s3:UploadPartCopy：复制多部分中的一个部分。
生命周期操作
  • s3:PutLifecycleConfiguration：设置生命周期配置。
  • s3:GetLifecycleConfiguration：获取生命周期配置。
  • s3:DeleteLifecycleConfiguration：删除生命周期配置。
其他操作
  • s3:GetObjectTagging：获取对象的标签。
  • s3:PutObjectTagging：设置对象的标签。
  • s3:DeleteObjectTagging：删除对象的标签。
  • s3:ReplicateObject：复制对象（用于跨区域复制）。

【2.3】权限模板

【2.3.1】只读

"arn:aws:s3:::*"，可以将*更换为指定的桶名

注："s3:PutObject"正常来讲不算只读，但是不加上这个会报错我也不清楚是为什么

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectTagging",
                "s3:GetObjectVersion",
                "s3:PutObject",
            ],
            "Resource": [
                "arn:aws:s3:::*/*"
            ]
        }
    ]
}
posted @ 2024-06-27 17:24  Lea4ning  阅读(270)  评论(0)    收藏  举报