对象存储cos(IBM COS)

大家好，今天给大家分享对象存储cos，一起来看看吧。

自从上次我写了对象存储技术架构剖析之一：Dell EMC ECS一文后，很多人期待我尽快写其他厂商的对象存储。本来我也打算尽快写第二篇的，但是年底事情多，你懂的...

今天，终于有点时间，我和大家分享一下IBM的COS的架构和我的个性点评。

COS从2018年进入中国市场，样式还是很时髦的，哦，说成服装品牌COS了，Sorry。

IBM的COS其实指Cloud ObjECt Storage即云对象存储的意思，是IBM收购Cleversafe后改名而来的。IBM收购Cleversafe主要是为了用在其公有云上，但其在企业市场也销售COS。我们这里只讲企业私有云版本。

Cleversafe于2004年成立于芝加哥，15年被IBM以13亿美金收购。收购前Cleversafe融资128m，只有100研发，但有300项专利，被IDC评为对象存储市场领导者。

非常巧的是，国内最大的对象存储厂商XSKY的投资方NEA也是当时Cleversafe的最大投资方。看来NEA尝到了投资对象存储的甜头，因此欲在中国市场复制它的成功经验，哈哈。

Cleversafe主要宣传点就是扩展性和效率。它号称是世界上第一个商用跨站点EC的公司，并且有多个客户有超过100PB级别的部署规模。

COS虽然宣传8个9的可用性，大大高于高端存储7个9的宣传，但这个其实内涵不一样。这个只是读可用性，其写可用性宣传是6个9。

IBM收购Cleversafe，主要是为了公有云。但是，私有云部署也是支持的，包括一体机和纯软件形态。由于IBM把X86服务器卖给了联想，因此还是比较愿意推广纯软件形态，支持的第三方服务器品牌也比较多。

IBM COS有三种节点类型：

•Manager节点——提供管理界面，用于管理任务，例如系统配置，存储配置以及监视系统的运行状况和性能。Manager可以部署为物理设备，VMware虚拟机或Docker容器。管理节点是无状态的，因此一般只配置一个管理节点。

•Accesser节点——在写入时对数据进行加密和编码，并在读取时对其进行解码和解密。它是一个无状态组件，它将存储接口呈现给客户端应用程序，并使用IDA算法（后面介绍）转换数据。Accesser节点可以部署为物理设备，VMware虚拟机，Docker容器，也可以作为IBM Slicestor设备上的嵌入式Accesser节点运行。

•Slicestor节点——负责存储数据切片。它在写入时从Accesser节点接收数据，并根据读取的要求将数据返回到Accesser节点。Slicestor还可确保已保存数据的完整性，并在必要时进行重建。Slicestor节点部署为物理设备。

S3的Bucket这个术语，在IBM COS里叫Vault或者Container。COS部署的形式有两种，缺省是Vault模式（单租户，支持几百个Vault）和Container模式（支持几千个Vault或者多租户）。

•Device Set: 指一组Slicestor设备，它们有着相同的配置，可以跨数据中心

•Storage Pool: 包含一个或者多个Device Set

•Vault：部署在Storage Pool里，自动覆盖所有的Device Set。Vault可以镜像，常用在两站点场景

•Access Pool：指一组Accesser节点，用来隔离租户的访问

•IBM COS没有自带负载均衡功能，需要额外部署（比如用F5）

IBM COS最大的IP就是这个IDA算法了：

•COS的IDA算法从EC算法扩展而来，其最主要的特征是支持SmartRead和SmartWrite。

•SmartRead和SmartWrite最大的好处就是提高系统的可用性和性能，只要读写的slice满足设定的阈值，系统就可正常工作，避免了某些节点由于网络的不稳定原因，影响到整个系统的吞吐量，使得跨站点EC成为可能。

•IDA数据保护策略应用在桶的级别，而不是存储池级别。

IBM COS的EC支持标准分散（SD，即每个Slicstor一个slice）和集中分散（CD）两种模式。

•IBM COS的chunk大小是4MB。

•IBM COS的一个独特功能是如何使用写阈值（WT）来提高数据可靠性并最大限度地减少数据丢失的可能性。WT太低，影响可靠性，但太高，又影响可用性。

•IBM COS的最多支持9个站点。COS不管多少个站点，都只有一份数据（2站点除外），还有，COS只有一个集群，只需要一个管理节点。

•COS多站点采用的是SmartWrite机制，一般写阈值大于读阈值，因此，数据是可以做到一致的（我见过EMC的竞争分析文档，攻击IBM COS不是强一致的。但我从原理分析，COS读的时候，读阈值里面肯定包含有最新的数据分片，只有对比一下时间戳，就可以知道EC条带有更新，这样就抛弃老的分片数据，只读新的分片数据，然后重构出整个条带，这样就保证数据是一致的。除非IBM没有怎么做。当然，我一直没有确认这个，如果你有相关信息，欢迎留言）。

•Vault Mirror（Standard）指两个Vault在不同的站点，而Protected Mirror则是在同一个站点，但不同的存储池。Protected Mirror不支持CD（ Concentrated Dispersal）模式。

•Vault Mirror支持同步和异步两种方式，而Protected Mirror只有同步方式，但有主Vault概念

•如果采用异步模式，理论上数据不是强一致的（也许EMC攻击的是这一点？EMC ECS由于元数据是同步复制，只有数据采用异步复制，因此可以保证数据是强一致的（从远端读））。

•虽然支持多站点，但是由于没有一个站点有完整数据，也就是没有本地读写的功能，性能较差

•如果Accesser和Slicestor的时延超过20ms，COS将自动使用多个连接来优化时延

IBM COS的扩展因子，就是裸容量/有效容量。越小空间利用率越高。

•性能不够，可以增加更多的Accesser节点

•容量不够，可以在原有的Slicestor节点增加硬盘（如果还有硬盘槽位的话），也可以增加更多的device set，新的device set可以加入到存在的存储池里面（要重平衡），也可以增加新的存储池（不用重平衡）

•IBM COS使用Packed Slice Storage（PSS）将切片存储在Slicestor节点上。PSS在每个驱动器上使用128个bin文件来存储对象切片，以优化底层文件系统的性能和利用率

•IBM还宣传PSS可以增加读性能和写效率

•从IBM红皮书提供的数据看，其小文件的读性能比写性能差很多

•主要的原因是写可以聚合，变成顺序写，但读无法聚合，一般都是随机的

IBM经常把跨站点EC和加密经常放在一起宣传，因为每一个站点的数据都不完整，而且数据还加了密，这样使得物理上拥有一个站点的数据也不会造成信息泄露，安全性要比普通的对象存储要高很多。这个感觉是否有点像区块链啊（加密 切片）。

•最新硬件的形态变化是Slicestor节点由控制节点和硬盘框组成，而原来是一体的

•Slicestor 53和Slicestor 106是一样的硬盘框，只是只配置了一半的硬盘而已

•IBM COS在Gartner和IDC的报告里都是对象存储的领导者，位置都比较靠前。

•但是，在Gartner的象限报告里，还包括GPFS分布式文件系统的评估在里面。

Gartner对象存储关键能力对IBM COS的评价摘录：

1.IBM COS最新支持Kafka消息通知服务，当对象有变化，可以发送通知

2.文件协议功能非原生，需要合作伙伴网关

3.对象API缺乏细粒度安全控制，UI不够直观

IBM COS在Gartner的关键能力评分中得分最高，8项关键能力有4项第一，分别是安全和多租户、容量、性能和弹性。

从场景看，除了混合云场景IBM输给了Scality外，其他场景都是IBM COS第一，可谓备受Gartner分析师青睐。

【小结】

从IBM COS的架构剖析我们可以看出，COS最大的特色就是IDA算法，SmartWrite和SmartRead的控制。这种架构针对跨站点EC比较有效，可以较好适应WAN带宽的抖动问题，提供应用的响应速度。只是在国内，很少看到企业采用跨站点EC来部署对象存储的。

当然，也不是COS啥都做得很好，比如在小文件归并方面，没有充分利用SSD加速，归并的速度应该不是特别好。还有，没有看到内置负载均衡，用户需要购买外置的负载均衡设备，文件协议支持需要采购网关，还有，没有看到属性反查这些高级功能。

老规矩，每次我介绍完一个对象存储产品后，都给大家一个改变主意的机会。前面网友投票大部分选了EMC，但我们看到Gartner最青睐的是IBM，你的这一票投给谁呢？让我们拭目以待。

以上就是对象存储cos的内容分享，希望对大家有用。