RustFS 1.0.6 三节点部署
版本:rustfs v1.0.6
形态:MNMD 静态分布式集群 + 3 副本
节点:192.168.110.116 / 192.168.110.117 / 192.168.110.118
存储:每台单盘 `/data/rustfs`
部署方式:二进制 + systemd 托管
验证结果:3 台在线、3 块盘在线、集群运行正常、rclone 上传下载 MD5 一致
0. 重要约束(先读,否则会踩坑)
| 项目 | 说明 |
|---|---|
| 官方拓扑 | RustFS MNMD 官方最低推荐 4 节点,3 节点属非标准拓扑,仅适合测试/验证 |
| 容错边界 | 3 节点 3 副本,任意一台离线 → 元数据事务锁死,集群转只读,不能新建桶/上传/自愈 |
| 拓扑性质 | 静态拓扑。无自动发现、无 join 命令、无 Web 添加节点;拓扑写死在 RUSTFS_VOLUMES |
| 扩缩容 | 增删节点必须:三台同步改 RUSTFS_VOLUMES → 全部停服 → 全部重启,无热加入 |
| 维护方式 | 禁止单节点停机。必须:停业务 → 三台全部停 rustfs → 维护 → 三台一起启动 |
| 生产建议 | 需要"挂一台仍可读写+自愈" → 改 4 节点 EC 2+2 |
1. 三台统一前置配置
三台机器全部执行,配置一致。
1.1 时间同步(集群强依赖,必做)
dnf install -y chrony
systemctl enable --now chronyd
chronyc tracking
1.2 防火墙放行
firewall-cmd --add-port=9000/tcp --permanent
firewall-cmd --add-port=9001/tcp --permanent
firewall-cmd --reload
- 9000:S3 API + 节点间 RPC 通信
- 9001:Web 管理控制台
1.3 SELinux
setenforce 0
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
1.4 内核与资源限制
cat >> /etc/sysctl.conf <<'EOF'
fs.file-max = 1048576
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
EOF
sysctl -p
cat >> /etc/security/limits.conf <<'EOF'
root soft nofile 1048576
root hard nofile 1048576
EOF
1.5 数据目录
mkdir -p /data/rustfs
chmod 700 /data/rustfs
文件系统推荐 XFS / ext4,挂载参数加
noatime。
1.6 安装二进制
wget https://dl.rustfs.com/artifacts/rustfs/release/v1.0.6/rustfs-linux-x86_64-musl.zip
unzip rustfs-linux-x86_64-musl.zip
chmod +x rustfs
mv rustfs /usr/local/bin/
rustfs --version
2. 环境变量配置
文件:/etc/default/rustfs
三台内容完全一模一样,一字不差。
RUSTFS_ADDRESS=":9000"
RUSTFS_CONSOLE_ENABLE=true
RUSTFS_CONSOLE_ADDRESS=":9001"
RUSTFS_ACCESS_KEY="admin"
RUSTFS_SECRET_KEY="admin123"
RUSTFS_VOLUMES="http://192.168.110.116:9000/data/rustfs http://192.168.110.117:9000/data/rustfs http://192.168.110.118:9000/data/rustfs"
RUSTFS_STORAGE_CLASS="REPLICA"
RUSTFS_REPLICA_COUNT=3
RUSTFS_LOG_LEVEL="info"
关键规则说明
RUSTFS_VOLUMES必须写 全部 3 个节点 volume,空格分隔,三台相同。- 格式:
http://<节点IP>:<9000>/<该节点本地数据目录> - 含义:该 IP 对应的节点,本地存储目录是后面的路径
- 格式:
- 每一条 volume 都是别人的 + 自己的,缺一条会导致拓扑不一致,启动报
volume not found。 ACCESS_KEY / SECRET_KEY三台必须完全一致,节点间 RPC 鉴权依赖此密钥。- 不要加
--node、--data等任何参数,v1.0.6 的 server 只接受 volume 列表。
3. systemd 服务
文件:/etc/systemd/system/rustfs.service
三台完全一样。
[Unit]
Description=RustFS Object Storage Server
Documentation=https://rustfs.com/docs/
After=network.target chronyd.service
[Service]
Type=simple
User=root
Group=root
EnvironmentFile=/etc/default/rustfs
ExecStart=/usr/local/bin/rustfs server $RUSTFS_VOLUMES
LimitNOFILE=1048576
LimitNPROC=32768
Restart=on-failure
RestartSec=10s
OOMScoreAdjust=-1000
TimeoutStopSec=60s
[Install]
WantedBy=multi-user.target
4. 启动流程(顺序严格按此执行)
4.1 启动 node1(192.168.110.116)
systemctl daemon-reload
systemctl start rustfs
systemctl enable rustfs
journalctl -u rustfs -f
等日志稳定、无 FATAL,Web 控制台 http://192.168.110.116:9001 可登录。
4.2 启动 node2(192.168.110.117)
systemctl daemon-reload
systemctl start rustfs
systemctl enable rustfs
journalctl -u rustfs -f
4.3 启动 node3(192.168.110.118)
systemctl daemon-reload
systemctl start rustfs
systemctl enable rustfs
journalctl -u rustfs -f
4.4 启动后确认
Web 控制台 http://192.168.110.116:9001 登录后应显示:
- 服务器:3 在线 / 预期 3
- 磁盘:3 在线 / 预期 3
- 集群状态:集群运行正常
5. 日志查看
# 实时跟踪
journalctl -u rustfs -f
# 只看告警错误
journalctl -u rustfs -f | grep -E 'WARN|ERROR|FATAL'
# 历史日志
journalctl -u rustfs --since today
journalctl -u rustfs -n 100
5.1 日志持久化(生产必做)
vi /etc/systemd/journald.conf
改:
Storage=persistent
systemctl restart systemd-journald
5.2 可选:输出到独立文件
在 rustfs.service 的 [Service] 段追加:
StandardOutput=append:/var/log/rustfs.log
StandardError=append:/var/log/rustfs.log
systemctl daemon-reload
systemctl restart rustfs
tail -f /var/log/rustfs.log
6. 集群验证
6.1 节点间连通性(任意节点执行)
curl http://192.168.110.116:9000
curl http://192.168.110.117:9000
curl http://192.168.110.118:9000
返回 403 Forbidden + XML 即正常(网络通、S3 鉴权生效),不是故障。
6.2 安装 rc 管理客户端(服务端包不带 rc)
curl -fLO https://github.com/rustfs/cli/releases/download/v0.1.30/rustfs-cli-linux-amd64-v0.1.30.tar.gz
tar -xzf rustfs-cli-linux-amd64-v0.1.30.tar.gz
install -m 0755 rc /usr/local/bin/rc
rc alias set rustfs http://192.168.110.116:9000 admin admin123
查看集群:
rc admin info cluster rustfs
rc admin pool list rustfs
旧写法
rc admin peers在 v0.1.30 已不适用,用rc admin info cluster。

7. Windows 客户端上传测试
7.1 rclone 配置文件 rclone-tmp.conf
[rustfs-tmp]
type = s3
provider = Other
endpoint = http://192.168.110.116:9000
access_key_id = admin
secret_access_key = admin123
no_check_bucket = true
方括号内名字必须与命令中的 remote 名一致,否则报
didn't find section in config file。
7.2 命令
REM 确认 remote 已加载
.\rclone.exe listremotes --config .\rclone-tmp.conf
REM 建桶
.\rclone.exe mkdir rustfs-tmp:test --config .\rclone-tmp.conf
REM 上传单文件
.\rclone.exe copy node-v24.22.0-x64.msi rustfs-tmp:test/ --config .\rclone-tmp.conf --progress
REM 上传整个目录
.\rclone.exe copy C:\testdir rustfs-tmp:test/testdir --config .\rclone-tmp.conf --progress
REM 列目录
.\rclone.exe ls rustfs-tmp:test/ --config .\rclone-tmp.conf
REM 下载
.\rclone.exe copy rustfs-tmp:test/node-v24.22.0-x64.msi node-down.msi --config .\rclone-tmp.conf --progress
REM 一致性校验
.\rclone.exe check node-v24.22.0-x64.msi rustfs-tmp:test/ --config .\rclone-tmp.conf
7.3 MD5 校验
certutil -hashfile node-v24.22.0-x64.msi MD5
实测结果(已通过):
原文件 df00623bcd5077538624512aec35933f
下载文件 df00623bcd5077538624512aec35933f
7.4 备选:Web 控制台直传
打开 http://192.168.110.116:9001,用 Access Key / Secret Key 登录 → 对象浏览 → 新建存储桶 → 上传文件。
桶名规则:全小写,不要用大写字母和特殊符号。
现象对照:3 节点停一台时的表现
- 只读:已有对象能读出
- 不可写:新建桶、上传、修改元数据全部失败
- 后台持续刷
SystemMetadataRepairRequired、pool_metadata_blocked、heal_object_result failed - 业务侧 S3 PUT 可能短暂返回成功(本地分片落盘),但集群元数据未持久化
8. 生产替代方案:4 节点 EC 2+2(推荐)
如需"挂一台仍可正常读写 + 后台自愈",3 节点做不到,须上 4 节点。
8.1 配置(4 台完全一致)
RUSTFS_ADDRESS=":9000"
RUSTFS_CONSOLE_ENABLE=true
RUSTFS_CONSOLE_ADDRESS=":9001"
RUSTFS_ACCESS_KEY="<统一密钥>"
RUSTFS_SECRET_KEY="<统一密钥>"
RUSTFS_VOLUMES="http://192.168.110.116:9000/data/rustfs http://192.168.110.117:9000/data/rustfs http://192.168.110.118:9000/data/rustfs http://192.168.110.119:9000/data/rustfs"
RUSTFS_STORAGE_CLASS="EC"
RUSTFS_EC_DATA=2
RUSTFS_EC_PARITY=2
RUSTFS_LOG_LEVEL="info"
8.2 对比
| 项目 | 3 节点 3 副本 | 4 节点 EC 2+2 |
|---|---|---|
| 容错 | 不可下线任一节点,单台离线即元数据锁死 | 可同时坏 2 台,单台离线正常读写自愈 |
| 空间利用率 | 33% | 50% |
| 故障演练 / 滚动维护 | 禁止 | 支持 |
| 官方支持 | 非标准拓扑 | MNMD 官方推荐最小生产拓扑 |
8.3 迁移注意
3 节点 不能原地扩成 4 节点。必须:
- 四台全部清空
/data/rustfs/* - 四台写入相同的 4 条
RUSTFS_VOLUMES与 EC 参数 - 按 116 → 117 → 118 → 119 顺序依次启动
- 数据重新迁移(旧集群数据需先 rclone 导出)
附录 A:关键路径与端口
| 项目 | 路径 / 值 |
|---|---|
| 二进制 | /usr/local/bin/rustfs |
| 环境变量 | /etc/default/rustfs |
| 服务文件 | /etc/systemd/system/rustfs.service |
| 数据目录 | /data/rustfs |
| S3 API | :9000 |
| Web 控制台 | :9001 |
| 系统桶 | .rustfs.sys(含 pool.bin 等集群元数据) |
附录 B:一键重启脚本(三台分别执行)
#!/bin/bash
set -e
systemctl daemon-reload
systemctl restart rustfs
sleep 5
systemctl status rustfs --no-pager | head -8
journalctl -u rustfs -f
如图


浙公网安备 33010602011771号