ceph pool池的相关操作

发表于

Ceph 将数据存储在存储池中。存储池是用于存储对象的逻辑组。如果您先部署集群而不创建存储池，Ceph 会使用默认存储池来存储数据。

将存储池与应用关联

在使用存储池之前，需要将它们与应用关联。将与 CephFS 搭配使用或由对象网关自动创建的存储池会自动关联。需要使用 rbd 工具初始化要与 RBD 搭配使用的存储池。

1
root # ceph osd pool application enable pool_name application_name

一个存储池可以与多个应用关联，每个应用都可具有自己的元数据。可使用以下命令显示给定存储池的应用元数据：

1
root # ceph osd pool application get pool_name

操作存储池

了解如何列出、创建和删除存储池，以及如何显示存储池统计数字或管理存储池快照。

列出存储池

要列出集群的存储池，请执行以下命令：

1
2
3
4
5
root # ceph osd lspools

0 rbd, 
1 photo_collection, 
2 foo_pool,

创建存储池

要创建副本存储池，请执行以下命令：

1
root # ceph osd pool create pool_name pg_num pgp_num replicated crush_ruleset_name  expected_num_objects

要创建纠删码池，请执行以下命令：

1
root # ceph osd pool create pool_name pg_num pgp_num erasure erasure_code_profile crush_ruleset_name expected_num_objects

pool_name

存储池的名称，必须唯一。必须指定此选项。

pg_num

存储池的归置组总数。必须指定此选项。默认值是 8。

pgp_num

用于归置数据的归置组总数。此数量应该与归置组总数相等，归置组拆分情况除外。必须指定此选项。默认值是 8。

pgp_type

存储池类型，可以是 replicated（用于保留对象的多个副本，以便从失败的 OSD 恢复）或 erasure（用于获得某种通用 RAID5 功能）。副本池需要的原始存储较多，但可实现所有 Ceph 操作。纠删码池需要的原始存储较少，但只实现一部分可用的操作。默认值是“replicated”。

crush_ruleset_name

此存储池的 crush 规则组的名称。如果所指定的规则组不存在，则创建副本池的操作将会失败，并显示 -ENOENT。但副本池将使用指定的名称创建新的纠删规则组。对于纠删码池，默认值是“erasure-code”。对于副本池，将选取 Ceph 配置变量 osd_osd_pool_default_crush_replicated_ruleset。

erasure_code_profile=profile

仅适用于纠删码池。使用纠删码配置。该配置必须是 osd erasure-code-profile set 所定义的现有配置。

expected_num_objects

此存储池的预期对象数。如果设置此值，PG 文件夹拆分发生于存储池创建时。这可避免因运行时文件夹拆分导致的延迟影响。

设置存储池配额

您可以设置存储池配额，限定每个存储池的最大字节数和/或最大对象数。

1
root # ceph osd pool set-quota pool-name max_objects obj-count max_bytes bytes

删除存储池

存储池中可能包含重要数据。删除存储池会导致存储池中的所有数据消失，且无法恢复。

不小心删除存储池十分危险，因此 Ceph 实施了两个机制来防止删除存储池。要删除存储池，必须先禁用这两个机制。

第一个机制是 NODELETE 标志。每个存储池都有这个标志，其默认值是“false”。要确定某个存储池的此标志值，请运行以下命令：

1
root # ceph osd pool get pool_name nodelete

如果命令输出 nodelete: true，则只有在使用以下命令更改该标志后，才能删除存储池：

1
ceph osd pool set pool_name nodelete false

第二个机制是集群范围的配置参数 mon allow pool delete，其默认值为“false”。这表示默认不能删除存储池。

若要规避此安全设置删除存储池，可以临时将 mon allow pool delete 设置为“true”，删除存储池，然后将该参数恢复为“false”：

1
2
3
4
5
root # ceph tell mon.* injectargs --mon-allow-pool-delete=true

root # ceph osd pool delete pool_name pool_name --yes-i-really-really-mean-it

root # ceph tell mon.* injectargs --mon-allow-pool-delete=false

injectargs 命令会显示以下讯息：

1
injectargs:mon_allow_pool_delete = 'true' (not observed, change may require restart)

重命名存储池

要重命名存储池，请执行以下命令：

1
root # ceph osd pool rename current-pool-name new-pool-name

如果重命名了存储池，且为经过身份验证的用户使用了按存储池功能，则必须用新的存储池名称更新用户的功能。

显示存储池统计数字

要显示存储池的用量统计数字，请执行以下命令：

1
2
3
4
5
6
7
8
9
10
11
root # rados df
pool name  category  KB  objects   lones  degraded  unfound  rd  rd KB  wr  wr KB
cold-storage    -   228   1         0      0          0       0   0      1   228
data            -    1    4         0      0          0       0   0      4    4
hot-storage     -    1    2         0      0          0       15  10     5   231
metadata        -    0    0         0      0          0       0   0      0    0
pool1           -    0    0         0      0          0       0   0      0    0
rbd             -    0    0         0      0          0       0   0      0    0
total used          266268          7
total avail       27966296
total space       28232564

设置存储池的值

要设置存储池的值，请执行以下命令：

1
root # ceph osd pool set pool-name key value
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120

size

设置存储池中对象的副本数。

min_size

设置 I/O 所需的最小副本数。

crash_replay_interval

允许客户端重放已确认但未提交的请求的秒数。

pg_num

存储池的归置组数。

pgp_num

计算数据归置时要使用的归置组的有效数量。

crush_ruleset

用于在集群中映射对象归置的规则组。

hashpspool

为给定存储池设置 (1) 或取消设置 (0) HASHPSPOOL 标志。启用此标志会更改算法，以采用更佳的方式将 PG 分配到 OSD 之间。对之前 HASHPSPOOL 标志设为 0 的存储池启用此标志后，集群会开始回填，以使所有 PG 都可再次正确归置。请注意，这可能会在集群上产生相当高的 I/O 负载，因此对高负载生产集群必须进行妥善规划。

nodelete

防止删除存储池。

nopgchange

防止更改存储池的 pg_num 和 pgp_num。

nosizechange

防止更改存储池的大小。

write_fadvise_dontneed

对给定存储池设置/取消设置 WRITE_FADVISE_DONTNEED 标志。

noscrub、nodeep-scrub

禁用（深层）整理 (scrub) 特定存储池的数据以解决临时高 I/O 负载问题。

hit_set_type

对快速缓存池启用命中集跟踪。请参见布隆过滤器以了解更多信息。此选项可用的值如下：bloom、explicit_hash、explicit_object。默认值是 bloom，其他值仅用于测试。

hit_set_count

要为快速缓存池存储的命中集数。该数值越高，ceph-osd 守护进程耗用的 RAM 越多。默认值是 0。

hit_set_period

快速缓存池的命中集期间的时长（以秒为单位）。该数值越高，ceph-osd 守护进程耗用的 RAM 越多。

hit_set_fpp

布隆命中集类型的误报率。请参见布隆过滤器以了解更多信息。有效范围是 0.0 - 1.0，默认值是 0.05

use_gmt_hitset

为快速缓存分层创建命中集时，强制 OSD 使用 GMT（格林威治标准时间）时戳。这可确保在不同时区中的节点返回相同的结果。默认值是 1。不应该更改此值。

cache_target_dirty_ratio

在快速缓存分层代理将已修改（脏）对象清理到后备存储池之前，包含此类对象的快速缓存池百分比。默认值是 .4

cache_target_dirty_high_ratio

在快速缓存分层代理将已修改（脏）对象清理到速度更快的后备存储池之前，包含此类对象的快速缓存池百分比。默认值是 .6。

cache_target_full_ratio

在快速缓存分层代理将未修改（干净）对象从快速缓存池逐出之前，包含此类对象的快速缓存池百分比。默认值是 .8

target_max_bytes

触发 max_bytes 阈值后，Ceph 将会开始清理或逐出对象。

target_max_objects

触发 max_objects 阈值时，Ceph 将开始清理或逐出对象。

hit_set_grade_decay_rate

两次连续的 hit_set 之间的温度降低率。默认值是 20。

hit_set_search_last_n

计算温度时在 hit_set 中对出现的项最多计 N 次。默认值是 1。

cache_min_flush_age

在快速缓存分层代理将对象从快速缓存池清理到存储池之前的时间（秒）。

cache_min_evict_age

在快速缓存分层代理将对象从快速缓存池中逐出之前的时间（秒）。

fast_read

如果对纠删码池启用此标志，则读取请求会向所有分片发出子读取命令，并一直等到接收到足够解码的分片，才会为客户端提供服务。对于 jerasure 和 isa 纠删插件，前 K 个副本返回时，就会使用从这些副本解码的数据立即处理客户端的请求。这有助于获得一些资源以提高性能。目前，此标志仅支持用于纠删码池。默认值是 0。

scrub_min_interval

集群负载低时整理 (scrub) 存储池的最小间隔（秒）。默认值 0 表示使用来自 Ceph 配置文件的 osd_scrub_min_interval 值。

scrub_max_interval

不论集群负载如何都整理 (scrub) 存储池的最大间隔（秒）。默认值 0 表示使用来自 Ceph 配置文件的 osd_scrub_max_interval 值。

deep_scrub_interval

深层整理 (scrub) 存储池的间隔（秒）。默认值 0 表示使用来自 Ceph 配置文件的 osd_deep_scrub 值。

获取存储池的值

要获取存储池中的值，请执行以下命令：

1
root # ceph osd pool get pool-name key
1
2
3
4
5
6
7
pg_num

存储池的归置组数。

pgp_num

计算数据归置时要使用的归置组的有效数量。有效范围小于或等于 pg_num。

设置对象副本数

要设置副本存储池上的对象副本数，请执行以下命令：

1
2
3
4

root # ceph osd pool set poolname size num-replicas

num-replicas 包括对象本身。例如，如果您想用对象和对象的两个副本组成对象的三个实例，请指定 3。

获取对象副本数

要获取对象副本数，请执行以下命令：

1
root # ceph osd dump | grep 'replicated size'

7.2.11 增加归置组数
创建新存储池时，需指定存储池的归置组数（请参见第 7.2.2 节 “创建存储池”）。将更多 OSD 添加至集群后，出于性能和数据持久性原因，通常还需要增加归置组数。对于每个归置组，OSD 和监视器节点始终都需要用到内存、网络和 CPU，在恢复期间需求量甚至更大。因此，最大限度地减少归置组数可节省相当大的资源量。

1
root # ceph osd pool set rbd pg_num 4096

添加存储池

在您首次部署集群之后，Ceph 会使用默认存储池来存储数据。之后，您可以使用以下命令创建新的存储池：

1
root # ceph osd pool create

存储池迁移

迁移存储池的方法有多种。建议使用快速缓存层，因为该方法是透明的，能够减少集群停机时间并避免复制所有存储池的数据。

7.3.1 使用快速缓存层迁移
该方法的原理十分简单，只需将需要迁移的存储池按相反的顺序加入快速缓存层中即可。有关快速缓存层的详细信息，请参见第 10 章 “快速缓存分层”。例如，要将名为“testpool”的副本池迁移到纠删码池，请执行以下步骤：

创建一个名为“newpool”的新纠删码池：

1
root@minion > ceph osd pool create newpool 4096 4096 erasure default

您现在有两个池，即装满数据的原始副本池“testpool”和新的空纠删码池“newpool”：

设置快速缓存层，并将副本池“testpool”配置为快速缓存池：

1
2
root@minion > ceph osd tier add newpool testpool --force-nonempty
root@minion > ceph osd cache-mode testpool forward

强制快速缓存池将所有对象移到新池中：

1
root@minion > rados -p testpool cache-flush-evict-all

数据清理

将所有客户端切换到新池。您需要指定一个覆盖层，以便在旧池中搜索对象，直到所有数据都已清理到新的纠删码池。

1
root@minion > ceph osd tier set-overlay newpool testpool

有了覆盖层，所有操作都会转到旧的副本池“testpool”：

设置覆盖层

现在，您可以将所有客户端都切换为访问新池中的对象。所有数据都迁移到纠删码池“newpool”后，删除覆盖层和旧超速缓冲池“testpool”：

1
2
root@minion > ceph osd tier remove-overlay newpool
root@minion > ceph osd tier remove newpool testpool

存储池快照

存储池快照是整个 Ceph 存储池的状态快照。通过存储池快照，可以保留存储池状态的历史。创建存储池快照可能需要大量存储空间，具体取决于存储池的大小。在创建存储池快照之前，始终需要检查相关存储是否有足够的磁盘空间。

创建存储池快照

要创建存储池快照，请执行以下命令：

1
2
3
4
5
6
7
root # ceph osd pool mksnap pool-name snap-name

例如：

root # ceph osd pool mksnap pool1 snapshot1

created pool pool1 snap snapshot1

删除存储池快照

要删除存储池快照，请执行以下命令：

1
root # ceph osd pool rmsnap pool-name snap-name