ceph运维操作

1. 官方文档

https://docs.ceph.com/en/quincy/

2. 基本命令

2.1 查看ceph使用状态

ceph df

2.2 指定mon查看状态

ceph -s --mon-host 192.168.88.10

2.3 指定配置文件查看状态

ceph -s -c /etc/ceph/ceph.conf

2.4 配置文件

2.4.1 cephadm集群文件目录

ll /var/lib/ceph/

# 注意修改配置了重启相关容器

2.4.2 集群日志文件

ll /var/log/ceph

2.4.3 开启debug

docker exec -it ceph-3104ac28-72bc-11ed-85c7-8d65cf0dc0c6-mon-ceph01 bash

# 自定义配置值
vim /etc/ceph/ceph.conf
'''
[global]
debug ms = 0

[osd]
debug ms = 1

[osd.1]
debug.ms = 10

[osd.2]
debug ms = 10
'''

3. 获取集群信息

3.1 显示整个集群的数据库信息

ceph config dump

3.2 显示某个守护进程的配置

get值主要取决于 ceph config dump 输出中的 who 值

ceph config get mon

3.3 设置数据库

ceph config set mon.ceph01 debug_ms 5

3.4 显示ceph守护进程的详细信息

ceph config show osd.0

3.5 查看帮助

ceph config help mon_host

3.6 查看信息配置

ceph daemon osd.3 config help mon_host

ceph config help log_file -f json-pretty

3.7 临时修改选项值

当前有此进程

ceph tell osd.1 config set debug_osd 30

ceph daemon mon.ceph01 config set debug_osd 30

3.8 查看当前节点所有选项值

ceph config show-with-defaults osd.0

4. ceph通用配置

4.1 mon

vim /etc/ceph/ceph.conf
[global]
        fsid = 3104ac28-72bc-11ed-85c7-8d65cf0dc0c6
        mon_host = [v2:192.168.88.10:3300/0,v1:192.168.88.10:6789/0] [v2:192.168.88.11:3300/0,v1:192.168.88.11:6789/0] [v2:192.168.88.12:3300/0,v1:192.168.88.12:6789/0]

4.2 osds

vim /etc/ceph/ceph.conf
# 定义osd日志大小
[global]
osd_journal_size = 10000

[osd.0]
host = [hostname] # manual deployments only

4.3 定义网络

不需要重启整个集群

[global]
public network = {public-network/netmask}

# 建议是内部网络
cluster network = {cluster-network/netmask}

5. 认证配置

5.1 安全协议

默认是配置好的，更改为None将没有认证功能，需要重启集群

[global]
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

5.2 证书导出

ceph auth get-or-create client.admin mon 'allow *' mds 'allow *' mgr 'allow *' osd 'allow *' -o ceph.client.admin.keyring

ceph auth get-or-create mgr.ceph01 mon 'allow profile mgr' mds 'allow *' osd 'allow *' -o mgr_keyring

ceph auth get-or-create osd.0 -o osd-4.keyring

ceph auth get-or-create mds.ceph01 mon 'allow rwx' osd 'allow *' mds 'allow *' mgr 'allow profile mds' -o mds.keyring

5.3 停用安全协议

需要重启集群

[global]
auth_cluster_required = none
auth_service_required = none
auth_client_required = none

6. Bluestore

6.1 osd优化

WAL设置适合SSD硬盘使用，主要预留日志，有一定程度提高ceph效率
DB存储内部的元数据

ceph-volume lvm prepare --bluestore --data <device>

ceph-volume lvm prepare --bluestore --data <device> --block.wal <wal-device> --block.db <db-device>

范例

vgcreate ceph-block-0 /dev/sda
vgcreate ceph-block-1 /dev/sdb
vgcreate ceph-block-2 /dev/sdc
vgcreate ceph-block-3 /dev/sdd

创建逻辑卷

lvcreate -l 100%FREE -n block-0 ceph-block-0
lvcreate -l 100%FREE -n block-1 ceph-block-1
lvcreate -l 100%FREE -n block-2 ceph-block-2
lvcreate -l 100%FREE -n block-3 ceph-block-3

创建卷组（固态盘，给wal使用）

vgcreate ceph-db-0 /dev/sdx

lvcreate -L 50GB -n db-0 ceph-db-0
lvcreate -L 50GB -n db-0 ceph-db-0
lvcreate -L 50GB -n db-0 ceph-db-0
lvcreate -L 50GB -n db-0 ceph-db-0

创建osd

ceph-volume lvm create --bluestore --data ceph-block-0/block-0 --block.db ceph-db-0/db-0

ceph-volume lvm create --bluestore --data ceph-block-0/block-1 --block.db ceph-db-0/db-1

ceph-volume lvm create --bluestore --data ceph-block-0/block-2 --block.db ceph-db-0/db-2

ceph-volume lvm create --bluestore --data ceph-block-0/block-3 --block.db ceph-db-0/db-3

7. ceph健康管理

7.1 关闭mon告警

ceph health detail

ceph config set mon mon_warn_on_insecure_global_id_reclaim_allowed false

7.2 启动osd

cephadm deploy --name osd.2  --fsid 3104ac28-72bc-11ed-85c7-8d65cf0dc0c6 --osd-fsid 3104ac28-72bc-11ed-85c7-8d65cf0dc0c6

7.3 移除osd

ceph osd crush rm osd.<id>

范例
- 注意对应id

# 停止osd
docker stop ceph-3104ac28-72bc-11ed-85c7-8d65cf0dc0c6-osd-2

# 踢出集群
ceph osd out 2

# 从CRUSH删除
ceph osd crush remove osd.2

# 删除osd集群密钥，从集群中移除该osd
ceph auth del osd.2
ceph osd rm 2

# 解除目录挂载(由于是容器化的，可以忽略)，可以对磁盘进行格式化以及目录删除
cephadm ceph-volume lvm zap /dev/sdb --destroy

7.4 添加osd

ceph osd out osd.$N

while ! ceph osd safe-to-destroy osd.$N; do sleep 1m; done

ceph-volume lvm zap /path/to/device

ceph-volume lvm create --osd-id $N --data /path/to/device

7.5 设置osd阈值

ceph osd set-backfillfull-ratio <ratio>

ceph osd set-nearfull-ratio <ratio>

ceph osd set-full-ratio <ratio>

可以查看默认比例

ceph osd dump | grep full_ratio

7.6 配置osd状态

full   群集被标记为已满，无法执行写入操作

pauserd,pausewr   暂停的读取或写入

noup   不允许启动OSD

nodown   OSD故障报告被忽略，因此监视器不会将OSD标记为关闭

noin   以前标记的OSD在开始时不会被标记

noout   在配置的间隔之后，不会自动标记出关闭的OSD

nobackfill,norecover,norebalance   恢复或数据重新平衡已暂停

noscrub,nodeep_scrub   已禁用清理

notieragent   缓存分层活动已挂起

设置或移除

ceph osd set <flag>

ceph osd unset <flag>

7.7 详细osd信息

ceph df detail

7.8 存储池限额

# 最大对象数
ceph osd pool set-quota <poolname> max_objects <num-objects>

ceph osd pool set-quota <poolname> max_bytes <num-bytes>

7.9 修复osd

ceph-bluestore-tool repair --path /var/lib/ceph/3104ac28-72bc-11ed-85c7-8d65cf0dc0c6/osd.2/ceph_fsid

7.10 关闭bluestore告警

ceph config set global bluestore_warn_on_legacy_statfs false

7.11 pool缓存最大配置

# 目标最大缓存字节
ceph osd pool set <cache-pool-name> target_max_bytes <bytes>

# 目标最大缓存字节数
ceph osd pool set <cache-pool-name> target_max_objects <bytes>

7.12 pg计算公式

Total PGs = (osds * 100) / pool size

7.13 pool的pg设置

查看

ceph osd pool get  cephfs-data pg_num

设置

ceph osd set <pool-name> pg_num <value>

可以使用禁用此健康

ceph config set global mon_warn_on_pool_pg_num_not_power_of_two false

7.14 关闭pg数过多告警

也是不允许集群自动调整pg数

ceph osd pool set <pool-name> pg_autoscale_mode off

7.15 允许集群自动调整pg数

ceph osd pool set <pool-name> pg_autoscale_mode on

7.16 初始化存储池

rbd pool init <poolname>

ceph osd pool application enable <poolname>

7.17 查看osd吞吐速率

docker exec -it ceph-3104ac28-72bc-11ed-85c7-8d65cf0dc0c6-mon-ceph01 bash

ceph daemon osd.5 ops

7.18 查看osd详细信息

ceph osd find osd.5

docker exec -it ceph-3104ac28-72bc-11ed-85c7-8d65cf0dc0c6-mon-ceph01 bash

ceph daemon osd.5 dump_historic_ops

7.19 关闭进程有异常的警告信息

ceph crash ls-new

# 设置开启
ceph config set mgr mgr/crash/warn_recent_interval 10

# 关闭
ceph config set mgr mgr/crash/warn_recent_interval 0

ceph config show mgr.ceph01.rrwcxs

8. 删除存储池

编辑配置文件

vim /var/lib/ceph/587b3aae-7ba6-11ed-91b7-4768cb2da4c8/mon.ceph01/config
mon_allow_pool_delete = true

# 重启mon进程

删除

ceph osd pool delete rbd rbd --yes-i-really-really-mean-it

9.调整副本池

查看副本池

ceph osd pool get $pool size

设置副本池

ceph osd pool set $pool size 2

10.用户管理

10.1 创建用户

方法一

ceph auth add client.testuser mon 'allow r' osd 'allow rw pool=rbdpool'

方法二

ceph auth get-or-create client.testuser mon 'allow r' osd 'allow rw pool=rbdpool'

10.2 修改用户

ceph auth caps client.testuser mon 'allow rw' osd 'allow rw pool=rbdpool'

10.3 删除用户

ceph auth del client.testuser

11.dashboard操作

11.1 修改HTTPS端口号

ceph config set mgr mgr/dashboard/ssl_server_port 5050

11.2 关闭dashboard证书认证

ceph config set mgr mgr/dashboard/ssl false #关闭 SSL

11.3 指定 dashboard 监听地址

建议设置0.0.0.0，否则高可用会失效

ceph config set mgr mgr/dashboard/server_addr 192.168.18.130

11.4 指定 dashboard 监听端口

ceph config set mgr mgr/dashboard/server_port 5050

11.5 重启dashboard模块生效

ceph mgr module disable dashboard

ceph mgr module enable dashboard

12. Grafana对接URL问题

vim /var/lib/ceph/1201424c-909d-11ed-8b70-cf1f91e7fda7/grafana.storage01/etc/grafana/grafana.ini
# This file is generated by cephadm.
[users]
  default_theme = light
[auth.anonymous]
  enabled = true
  org_name = 'Main Org.'
  org_role = 'Viewer'
[server]
  domain = 'bootstrap.storage.lab'
  protocol = http
  http_port = 3000
  http_addr = 
[snapshots]
  external_enabled = false
[security]
  disable_initial_admin_creation = true
  cookie_secure = true
  cookie_samesite = none
  allow_embedding = true

# 修改url
ceph dashboard set-grafana-api-url http://10.0.0.10:3000/

# 重启grafana容器
docker restart ceph-1201424c-909d-11ed-8b70-cf1f91e7fda7-grafana-storage01

13.调整ceph平衡

13.1 调整WEIGHT平衡

5是osd的id值，0.7在权重
- 这是调整：REWEIGHT

ceph osd reweight 5 0.7

5是osd的id值，6.3999一般取硬盘大小
- 这是调整：WEIGHT

ceph osd crush reweight osd.5 6.39999

14.rbd块设备锁处理

查看锁状态

rbd lock ls volumes/volume-4cb6acc8-807e-42fb-b178-adfd1d7ce425

删除锁状态

rbd lock rm volumes/volume-4cb6acc8-807e-42fb-b178-adfd1d7ce425 "auto 139945604373728" client.10499600

15. 单机版部署问题处理

15.1 ceph蓝图导出

# 安装工具
ceph-base

# 导出蓝图
ceph osd getcrushmap -o map.bin

# 转换蓝图为可读格式
crushtool -d map.bin -o map.txt

15.2 修改蓝图规则并导入

# 将规则host改为osd
vim map.txt
55         step chooseleaf firstn 0 type osd

# 转换为蓝图可识别的文件
crushtool -c map.txt -o map.bin.new

# 导入到集群
ceph osd setcrushmap -i map.bin.new

posted @ 2022-12-11 14:46 A57 阅读(759) 评论(0) 收藏举报

刷新页面返回顶部

K8S+ceph离线部署

k8s集成ceph离线部署

ceph运维操作

1. 官方文档

2. 基本命令

2.1 查看ceph使用状态

2.2 指定mon查看状态

2.3 指定配置文件查看状态

2.4 配置文件

2.4.1 cephadm集群文件目录

2.4.2 集群日志文件

2.4.3 开启debug

3. 获取集群信息

3.1 显示整个集群的数据库信息

3.2 显示某个守护进程的配置

3.3 设置数据库

3.4 显示ceph守护进程的详细信息

3.5 查看帮助

3.6 查看信息配置

3.7 临时修改选项值

3.8 查看当前节点所有选项值

4. ceph通用配置

4.1 mon

4.2 osds

4.3 定义网络

5. 认证配置

5.1 安全协议

5.2 证书导出

5.3 停用安全协议

6. Bluestore

6.1 osd优化

7. ceph健康管理

7.1 关闭mon告警

7.2 启动osd

7.3 移除osd

7.4 添加osd

7.5 设置osd阈值

7.6 配置osd状态

7.7 详细osd信息

7.8 存储池限额

7.9 修复osd

7.10 关闭bluestore告警

7.11 pool缓存最大配置

7.12 pg计算公式

7.13 pool的pg设置

7.14 关闭pg数过多告警

7.15 允许集群自动调整pg数

7.16 初始化存储池

7.17 查看osd吞吐速率

7.18 查看osd详细信息

7.19 关闭进程有异常的警告信息

8. 删除存储池

9.调整副本池

10.用户管理

10.1 创建用户

10.2 修改用户

10.3 删除用户

11.dashboard操作

11.1 修改HTTPS端口号

11.2 关闭dashboard证书认证

11.3 指定 dashboard 监听地址

11.4 指定 dashboard 监听端口

11.5 重启dashboard模块生效

12. Grafana对接URL问题

13.调整ceph平衡

13.1 调整WEIGHT平衡

14.rbd块设备锁处理

15. 单机版部署问题处理

15.1 ceph蓝图导出

15.2 修改蓝图规则并导入

公告