华为FusionStorage分布式存储技术建议书
Huawei Technologies Co., Ltd.
华为技术有限公司
All rights reserved 版权所有 侵权必究
Revision record 修订记录
为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：
FusionStorage功能模块:
存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。
FusionStorage系统软件架构：
FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。 FusionStorage分布式存储系统包含三个子系统：
无状态机头
无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。本地SCSI支持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。 存储集群
在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。 分布式机头
FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。 分布式缓存
FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。同时IO也会将数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升1~3倍，同时提供更大的有效容量。
FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。由于分布式缓存带来的性能优势，IO时延,IOPS都能很好的满足数据库的应用，FusionStorage系统可以支持业界主流的数据库，支持OLAP,OLTP等主流业务。
集群元数据管理
FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。 多数据副本
FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。
如下图所示，对于服务器Server1的 磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1’，P1和P1’构成了同一个数据块的两个副本。
1.1 FusionStorage优点概述
? 高IOPS,低时延：应用大容量Cache技术，提升IOPS；
卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升； 访问均衡，无热点,资源池中各节点的利用率相同；
无需预先设置固定RAID组，大资源池适应应用负载的动态变化； 应用程序通过Cache直达存储，时延更低；
? 无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制； 无级扩容：分布式机头(每server服务器相当于一个机头)，无性能瓶颈，可无级扩容 非烟囱式扩展：存储与计算同步平滑扩展。
即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。
? 管理简单：结构简单带来管理简单；
免于低层配置管理：仅需要做应用层面的管理，免去大量低层配置管理事务。 零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。
? 数据重建快：并行重建速快；
华为FusionStorage技术建议书 分布式存储
