Minio对象存储

Minio对象存储

1、概述

​ Minio是一个基于Apache License v2.0开源和谈的工具存储服务。它兼容亚马逊S3云存储服务接口,异常符合于存储大容量非构造化的数据,比如图片、视频、日记文献、备份数据和容器/杜撰机镜像等,而一个工具文献能够是任性巨细,从几kb到最大5T不等。且Minio十足笨重,可与使用顺序绳捆索绑在一齐,相似于NodeJS,Redis和MySQL。
​ 官方文档地址:https://docs.min.io/cn
​ 对于有需求不能或不使用云厂商提供的存储服务,例如阿里云的oss、七牛云的对象存储等,可以通过自建minio对象存储集群的方式

2、功能特性

  • Amazon S3兼容
    Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK,Minio Client,AWS SDK和AWS CLI访问Minio服务器。
  • 数据保护
    Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver,但是仍然可以从中恢复。
  • 高度可用
    Minio服务器可以容忍分布式设置中高达(N / 2)-1节点故障。而且,您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。
  • Lambda计算
    Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列,如Kafka,NATS,AMQP,MQTT,Webhooks以及Elasticsearch,Redis,Postgres和MySQL等数据库。
  • 加密和防篡改
    Minio为加密数据提供了机密性,完整性和真实性保证,而且性能开销微乎其微。使用AES-256-GCM,ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。
  • 可对接后端存储
    除了Minio自己的文件系统,还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
  • sdk支持
    基于Minio轻量的特点,它得到类似Java、Python或Go等语言的sdk支持

3、集群规划

3.1、单节点

  • 根据存储是否为远端,可直接使用FS或NFS直接操作存储中的Object
  • 调用S3接口,通过Minio使用FS或NFS来操作Object

3.2、多节点

多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

3.3、分布式

分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。

4、分布式minio集群搭建

minio存储的部署方案在官网有很多,例如在docker-compose,kubernetes,DC/OS等环境下,本文采用的是较稳定的二进制部署方式。

4.1、集群规划

minio二进制文件下载地址: https://dl.minio.io/server/minio/release/linux-amd64/minio
操作系统CentOS 7.6
服务器资源:

  • 172.16.1.101
    /minio/data1 /minio/data2
  • 172.16.1.102
    /minio/data1 /minio/data2

本集群由2台服务器构成(官方推荐集群最小4台服务器),每个服务器上挂载两个磁盘目录,最小数据挂载点为4个

4.2、创建用户

创建专用的用户

useradd -M -s /sbin/nologin -r minio-user

4.3、创建相关目录(所有节点)

  • 数据存储目录
[root@localhost ~]# mkdir -p /minio/data1
[root@localhost ~]# mkdir -p /minio/data2
  • 启动脚本目录
[root@localhost ~]# mkdir -p /opt/minio
  • 集群配置文件目录
[root@localhost ~]# mkdir -p /etc/minio

4.4、编写集群启动脚本(所有节点)

[root@localhost ~]# vim /opt/minio/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456
/opt/minio/minio server --config-dir /etc/minio \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \

其中,“MINIO_ACCESS_KEY”为用户名,“MINIO_SECRET_KEY”为密码,密码不能设置过于简单,不然minio会启动失败,“–config-dir”指定集群配置文件目录,生成复杂用户名和密码可通过类似Linux命令
tr -cd '[:alnum:]' </dev/urandom |fold -w64|head -n1的方式来生成

4.5、编写服务脚本(所有节点)

[root@localhost ~]# vim /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
Wants=network-online.target
After=network-online.target

[Service]
User=minio-user
Group=minio-user
WorkingDirectory=/opt/minio/
ExecStart=/opt/minio/run.sh

# Let systemd restart this service on-failure
Restart=on-failure
RestartSec=5

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target
[root@localhost ~]# chmod +x /usr/lib/systemd/system/minio.service

其中,“WorkingDirectory”为启动脚本目录,“ExecStart”为指定集群启动脚本
参考官方地址:
https://github.com/minio/minio-service/blob/master/linux-systemd/minio.service

4.6、服务启动

4.6.1、二进制文件

将minio二进制文件上传到/opt/minio目录下并赋予权限

chmod +x minio

4.6.2、赋予启动脚本权限

chmod +x /opt/minio/run.sh

4.6.3、修改目录所属

由于minio服务由minio-user这个用户启动和运行,所以需要修改相应目录的属主和属组

chown -R minio-user:minio-user /minio
chown -R minio-user:minio-user /etc/minio
chown -R minio-user:minio-user /opt/minio

4.6.4、启动服务

systemctl daemon-reload
systemctl start minio
systemctl enable minio
systemctl status minio

启动后可通过访问节点:9000,并使用设置的key登录到控制台,也可在启动脚本中加入参数--address "127.0.0.1:9000"修改端口,即:

#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456

/opt/minio/minio server --config-dir /etc/minio \
--address "127.0.0.1:9000" \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \

5、配置域名及https

5.1、配置域名

使用nginx配置域名进行访问,在 Nginx 的配置文件中加入下面的内容:

location / {
    proxy_set_header Host $http_host;
    proxy_pass http://localhost:9000;
}

5.2、配置https

使用nginx配置https安全访问,并根据301规则自动跳转到https,https证书可自签、也可申请一个浏览器可信的证书,下面的证书属于浏览器可信的,全局配置如下:

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    sendfile        on;
    server_tokens  off;
    keepalive_timeout  65;
	client_max_body_size 50m;
    access_log   /var/log/nginx/nginx.access.log;
    error_log    /var/log/nginx/nginx.error.log;
    upstream minio_server {
        server 192.168.10.101:9000;
        server 192.168.10.102:9000;
        ip_hash;
    }
    server {
        listen       80;
        server_name  minio.test.com;
        return 301   https://$host$request_uri;
    }
    server {
        listen        443 ssl;
        server_name   minio.test.com;
        if ($host != 'minio.test.com') {
            return 403;
        }
        ssl_certificate      /usr/local/nginx/cert-ssl/minio.test.com.pem;
        ssl_certificate_key  /usr/local/nginx/cert-ssl/minio.test.com.key;
        ssl_session_timeout 5m;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_prefer_server_ciphers on;
        location / {
            proxy_pass http://minio_server;
            proxy_redirect    off;
            proxy_set_header  Host             $http_host;
            proxy_set_header  X-Real-IP        $remote_addr;
            proxy_set_header  X-Forwarded-For  $proxy_add_x_forwarded_for;
        }
     }
}

5.3、访问认证

minio控制台界面是通过Accsss Key和Secret Key登录的,除了将这对Key用于客户端,作为管理员还可能有需要对控制台访问做保护,即在用Key登录的基础上再加一层。这就如同非X-pack版本的Kibana界面一样,没有访问控制。同样的,可以尝试使用nginx的basic_auth模块。一番折腾发现是不可行的,对于nginx基础认证,后端不支持非AWS4-HMAC-SHA256签名算法,可能出现如下图所示的返回结果:

因此这个想法不可行,具体如何实现也没有google到。。。

6、控制台界面操作及客户端sdk

6.1、控制台界面

通过上面配置的域名访问到minio界面

并通过指定的Access Key及Secret Key登录到控制台

6.2、控制台界面操作

控制台可以做的操作如下:

  • 创建一个存储空间(存储桶)bucket
  • 在存储桶内上传下载文件
  • 文件生成链接,设置链接过期时间

6.3、客户端sdk

更多内容可查看官网文档

7、多租户部署

多租户的实现可参考:
https://blog.csdn.net/dingjs520/article/details/79118305

posted @ 2019-06-23 10:54  SSgeek  阅读(7501)  评论(0编辑  收藏