Ceph BlueStore与FileStore(bluesto

BlueStore是Ceph的新存储引擎，是社区版的默认配置。BlueStore性能数字不包含在我们当前的Micron Accelerated Ceph存储解决方案 参考架构中，因为Red Hat Ceph 3.0目前不支持它。我在Ceph参考架构硬件上对社区版Ceph Luminous（12.2.4）进行了性能测试，并将结果与​​我们在此博客中在RHCS 3.0中实现的FileStore性能进行比较。

BlueStore对大型对象操作有很大的不同：

4MB对象读取吞吐量增加了48％，而平均延迟减少了33％。
4MB对象写入吞吐量增加了83％，而平均延迟减少了46％

此解决方案针对块性能进行了优化，但仍适用于大型对象操作。

每个存储节点有10个驱动器，该架构具有232TB的可用存储容量，可通过添加额外的1U存储节点进行扩展。

参考设计 - 硬件

测试结果和分析
Ceph测试方法
Red Hat Ceph Storage 3.0（12.2.1）配置了FileStore，每个Micron 9200 MAX NVMe SSD有2个OSD 。每个OSD使用20GB日志。

Ceph Luminous Community（12.2.4）配置了BlueStore，每个Micron 9200MAX NVMe SSD有2个OSD。RocksDB和WAL数据与数据存储在同一分区中。

在这两种配置中，每个存储节点有10个驱动器，每个驱动器有2个OSD，总共80个OSD，可用容量为232TB。测试的Ceph存储池是使用8192个放置组和2x复制创建的。

使用RADOS工作台测量4MB对象性能。这表示最佳情况下的对象性能，而不考虑RADOS网关配置和开销。写入是通过扩大写入Ceph的客户端数量来计算的，线程数为16.读取是使用所有10个负载生成客户端测量的，并按比例扩大每个RADOS Bench运行的线程数。

RADOS Bench 4MB对象读取性能：FileStore与BlueStore
BlueStore 4MB对象读取吞吐量增加了48％，而平均延迟减少了33％。Ceph参考架构针对FileStore和BlueStore情况下的小型随机块性能进行了调整。

使用FileStore，通过更改ceph.conf可以实现更高的对象读取吞吐量，尽管这很可能会减少4KB的随机块工作负载。

即使在针对小块性能进行调整时，BlueStore的网络限制为100GbE。

RADOS Bench 4MB对象写入性能：FileStore与BlueStore
BlueStore 4MB对象写入吞吐量增加了83％，而平均延迟减少了46％。

这种大差异是由于FileStore中的日记机制与BlueStore中的元数据存储有关。使用FileStore，在2x复制池上，将一个4MB对象写入两个独立的OSD日志，然后在两个OSD上取消分段到磁盘。单个4MB对象变为16MB写入。使用BlueStore，4MB对象被写入两个OSD以及少量元数据，写入~8MB到磁盘。这解释了使用BlueStore在4MB对象写入中几乎提高了2倍的性能。