压缩指南

官方文档地址:http://docs.minio.org.cn/docs/master/minio-compression-guide

MinIO服务器允许流式压缩以确保有效的磁盘空间使用。压缩是在数据传输中发生的,即对象在写入磁盘之前已被压缩。MinIO klauspost/compress/s2由于其稳定性和性能而使用流式压缩。

该算法专门针对机器生成的内容进行了优化。每个CPU内核的写吞吐量通常至少为300MB / s。解压缩速度通常至少为1GB/s。 这意味着在原始IO低于这些数字的情况下,压缩不仅会减少磁盘使用量,而且有助于提高系统吞吐量。 通常,当可以压缩内容时,在旋转磁盘系统上启用压缩将提高速度。

通过压缩运行MinIO

通过更新compress MinIO服务器配置的配置设置来启用压缩。配置compress设置采用扩展名和mime类型进行压缩。

$ mc admin config get myminio compression
compression extensions=".txt,.log,.csv,.json,.tar,.xml,.bin" mime_types="text/*,application/json,application/xml"

默认配置包括最常见的高度可压缩的内容扩展名和mime类型。

$ mc admin config set myminio compression extensions=".pdf" mime_types="application/pdf"

使用默认扩展名和mime类型对所有内容启用压缩。

~ mc admin config set myminio compression

通过环境变量来设置。设置后,环境变量将覆盖compress服务器配置中定义的配置设置。

export MINIO_COMPRESS="on"
export MINIO_COMPRESS_EXTENSIONS=".pdf,.doc"
export MINIO_COMPRESS_MIME_TYPES="application/pdf"

注:既然可以通过环境变量来设置,那么也可以把这些环境变量添加到配置文件中来实现

MINIO_COMPRESS="on"
MINIO_COMPRESS_EXTENSIONS=".pdf,.doc,.txt,.log,.csv,.json,.tar,.xml,.bin"
MINIO_COMPRESS_MIME_TYPES="application/pdf,application/json,application/xml"

web界面操作配置压缩

注意

已经压缩的对象不具有可压缩的模式,因此不适合进行压缩。这样的对象不能产生有效的效率LZ compression,这是无损数据压缩的适用性。以下是不适合压缩的常见文件和内容类型的列表。

即使所有类型都启用了压缩,所有具有这些扩展名和mime类型的文件都将从压缩中排除。

  • MinIO不支持压缩加密,因为压缩和加密在一起可能为诸如 CRIME and BREACH
  • MinIO不支持网关(Azure / GCS / NAS)实现的压缩。
posted @ 2022-03-10 10:16  哈喽哈喽111111  阅读(735)  评论(0编辑  收藏  举报