PG 故障排除之 PG 不一致

如果您收到一个 active + clean + inconsistent 状态，这可能是由于清理期间的错误而发生的。与往常一样，我们可以通过以下方式识别不一致的归置组：

$ ceph health detail
HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
pg 0.6 is active+clean+inconsistent, acting [0,1,2]
2 scrub errors

或者，如果您更喜欢以编程方式检查输出：

$ rados list-inconsistent-pg rbd
["0.6"]

只有一种一致的状态，但在最坏的情况下，我们可能会在多个对象中发现不同的不一致状态。如果PG 0.6中命名的对象foo被截断，我们将有：

$ rados list-inconsistent-obj 0.6 --format=json-pretty
{
    "epoch": 14,
    "inconsistents": [
        {
            "object": {
                "name": "foo",
                "nspace": "",
                "locator": "",
                "snap": "head",
                "version": 1
            },
            "errors": [
                "data_digest_mismatch",
                "size_mismatch"
            ],
            "union_shard_errors": [
                "data_digest_mismatch_info",
                "size_mismatch_info"
            ],
            "selected_object_info": "0:602f83fe:::foo:head(16'1 client.4110.0:1 dirty|data_digest|omap_digest s 968 uv 1 dd e978e67f od ffffffff alloc_hint [0 0 0])",
            "shards": [
                {
                    "osd": 0,
                    "errors": [],
                    "size": 968,
                    "omap_digest": "0xffffffff",
                    "data_digest": "0xe978e67f"
                },
                {
                    "osd": 1,
                    "errors": [],
                    "size": 968,
                    "omap_digest": "0xffffffff",
                    "data_digest": "0xe978e67f"
                },
                {
                    "osd": 2,
                    "errors": [
                        "data_digest_mismatch_info",
                        "size_mismatch_info"
                    ],
                    "size": 0,
                    "omap_digest": "0xffffffff",
                    "data_digest": "0xffffffff"
                }
            ]
        }
    ]
}

在这种情况下，我们可以从输出中学习：

• 唯一不一致的对象是foo，不一致的是它的head。

• 不一致分为两类：

  • errors：这些错误表明分片之间存在不一致，而无法确定哪个分片是坏的。如果可用，请检查分片数组中的 errors 以查明问题。

    • data_digest_mismatch: 从 OSD.2 读取的副本的摘要不同于 OSD.0 和 OSD.1 的摘要。

    • size_mismatch：从 OSD.2 读取的副本大小为 0，而 OSD.0 和 OSD.1 报告的大小为 968。

  • union_shard_errors：shards数组中所有特定errors分片的联合。为有问题的分片给定errors设置。它们包括错误，例如read_error. errors结尾 selected_object_info 表示与oi比较。查看shards数组以确定哪个分片有哪些错误。

    • data_digest_mismatch_info: object-info 中存储的摘要不是 0xffffffff, 是根据从 OSD.2 读取的分片计算得出的。

    • size_mismatch_info: object-info 中存储的大小与从 OSD.2 读取的大小不同。后者为0。

您可以通过执行以下命令来修复不一致的归置组：

ceph pg repair {placement-group-ID}

这会用权威的副本覆盖坏副本。在大多数情况下，Ceph 能够使用一些预定义的标准从所有可用副本中选择权威副本。但这并不总是有效。例如，存储的数据摘要可能会丢失，并且在选择权威副本时将忽略计算的摘要。因此，请谨慎使用上述命令。

** 如果shard的errors属性中列出read_error，则不一致可能是由于磁盘错误。您可能需要检查该 OSD 使用的磁盘。**

如果由于时钟偏差而定期收到active + clean + inconsistent状态，则可以考虑在监控主机上配置NTP守护程序以充当对等点。