MinIo使用一 MinIO 单机版安装使用+Flink使用MinIO状态存储

1. 下载安装MinIO
   1. 新建安装路径  

      # 安装主目录
      mkdir -p /data/app/minio
      # 数据目录
      mkdir -p /data/app/minio/data
      # 日志目录
      mkdir -p /data/app/minio/log

   2. 下载MinIO安装包

      cd /data/app/minio
      wget https://dl.minio.io/server/minio/release/linux-amd64/minio
      # 如果下载不了，在本地下载完成之后上传至服务器
      # 设置权限
      chmod +x  minio

   3. 自定义MinIO账户密码

      export MINIO_ACCESS_KEY=minio
      export MINIO_SECRET_KEY=minio123
      
      vim /etc/profile
      source  /etc/profile

   4. MinIO启动脚本编写

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      chmod 777 *.sh

   5. MinIO默认端口修改

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:60035 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &

   6. 启动MinIO+查看日志

      cd /data/app/minio
      ./start_minio.sh
      
      # 查看日志 发现控制台端口是随机生成的
      tail -100f /data/app/minio/log/minio.log
      
      [root@10-177-146-32.itom-core.dgtest01 log]# tail -100f minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:60035 
      
      Console: http://10.177.146.32:43618 http://127.0.0.1:43618 
      
      Documentation: https://docs.min.io
      
      WARNING: Console endpoint is listening on a dynamic port (43618), please use --console-address ":PORT" to choose a static port.

   7. MinIO控制台端口指定

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:20000 --console-address 0.0.0.0:20001 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      # 查看日志
      tail -100f /data/app/minio/log/minio.log
      [root@10-177-146-32.itom-core.dgtest01 minio]# tail -100f log/minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:20000 
      
      Console: http://0.0.0.0:20001 
      
      Documentation: https://docs.min.io

   8. MinIO命令

      [root@10-177-146-32.itom-core.dgtest01 minio]# ./minio --help
      NAME:
        minio - High Performance Object Storage
      
      DESCRIPTION:
        Build high performance data infrastructure for machine learning, analytics and application data workloads with MinIO
      
      USAGE:
        minio [FLAGS] COMMAND [ARGS...]
      
      COMMANDS:
        server   start object storage server
        gateway  start object storage gateway
        
      FLAGS:
        --certs-dir value, -S value  path to certs directory (default: "/root/.minio/certs")
        --quiet                      disable startup information
        --anonymous                  hide sensitive information from logging
        --json                       output server logs and startup information in json format
        --help, -h                   show help
        --version, -v                print the version
        
      VERSION:
        RELEASE.2021-12-29T06-49-06Z

   9. 访问MinIO控制台

      http://10.177.146.32:20001/login
      
      minio/minio123

      

   10. MinIO文档

       http://docs.minio.org.cn/docs/master/minio-monitoring-guide 
       http://www.minio.org.cn/

2. Flink 使用MinIO
   1. 　MinIO创建桶(Bucket)--Flink存放状态+checkpoint文件

      

      PS： 需要注意的是层级桶需要逐层创建内嵌再创建子桶，直接将桶名称指定为abc/xxx 会报错

       

       

   2. 针对桶的操作
      1. 上传文件

         

         

      2. 上传文件夹
         

         

      3. 文件｜文件夹的分享，下载，删除

         

          

         

         将分享地址中的0.0.0.0 修改成minio服务器所在的IP地址，之后在浏览器中直接访问，报错说需要正确的解密key，因此访问文件应该需要秘钥 

   3. Bucket桶列表

      　　

   4. Flink配置文件中使用MinIO
      1. 修改Flink 配置文件

         cd  /data/app/flink-1.13.3/conf
         vim flink-conf.yaml
             # state.backend: filesystem
             fs.allowed-fallback-filesystems: s3
             state.backend: filesystem 
             state.checkpoints.dir: s3://state/checkpoint
             s3.endpoint: http://10.177.146.32:20000
             s3.path.style.access: true
             s3.access-key: minio
             s3.secret-key: minio123

      2. 启动｜重启Flink集群

         cd /data/app/flink-1.13.3/bin
         ./start-cluster.sh
         http://10.177.146.32:8081/#/overview

         

      3. 提交Flink 任务

         cd /data/app/big-event/bin
          ./run.sh 
         
         # 以下为输出日志信息
         start run flink job
         run sql: imporantEvent/use.sql  with path: /data/app/big-event/conf/flinkSQL/imporantEvent/use.sql
         Job has been submitted with JobID 90893558f929224536159910b743d710

         

         

      4. Flink任务自动checkpoint
         1. Flink控制台展示

            

         2. MinIo上Bucket中文件