11月23-25日，以“数据·觉醒”为主题的2021中国数据与存储线上峰会圆满闭幕。在分布式存储论坛上，宏杉科技市场部副总工张夏男发表了《持续探索与创新，驱动分布式存储新未来》的主题演讲。
以下为演讲全文：
各位嘉宾大家好，我是宏杉科技的张夏男，很荣幸和大家在线上见面，今天将和大家分享的是宏杉科技在分布式存储领域的相关探索与创新。
近年来，宏杉科技在存储产品和技术上持续创新，主要集中在极致的性能、数据存储的安全可靠和数据的智能管理三个方面。在分布式存储领域，宏杉科技也早有布局。在公司成立之初就推出分布式存储MC3000，采用了定制化硬件，主要应用于科研、高性能计算等领域。之后，宏杉科技自主研发的统一数据平台CloudSUN，借助分布式存储理念，实现对结构化和非结构化数据的统一管理。2018年，宏杉科技推出了通用型分布式存储MSmart，致力于为用户提供更加全面的分布式存储解决方案。
通过分布式技术的不断演进，宏杉MSmart分布式存储可以提供对象存储、文件存储、块存储和大数据存储等多种存储服务，基于多种存储协议，能够在统一的架构之下实现数据共享，并通过多节点并发提供完整的数据服务。MSmart具备如下四大特色：
海量的数据存储
在架构设计上，宏杉MSmart分布式存储可提供高达1万个节点的横向扩展能力，实现性能和容量的完全线性扩展。
在节点和磁盘的空间利用率方面，传统的分布式存储通常采用一致性哈希算法、Ceph的CRUSH算法等实现数据的分布，可能会存在数据分布不完全均匀的问题，造成存储可用空间的浪费。为保证存储空间的可用程度，当整体存储空间利用率达到80%时，需尽快扩展存储空间容量。宏杉MSmart采用自主研发的智能数据分布算法，能将存储节点和硬盘的使用率提升至95%以上，极大提升系统的可用空间容量。
除了存储容量之外，宏杉MSmart还支持融合存储模式。与传统超融合采用虚拟化提供计算资源不同，在MSmart分布式存储中，底层采用内核级软件的部署方式，应用软件可直接部署于存储硬件上，而不会对存储服务造成干扰。这种融合模式的优势已经在众多应用方案中充分体现，例如，网盘解决方案中，在MSmart分布式存储的基础上可直接部署网盘软件，从而为用户提供一体化的网盘方案。
智能的数据算法
MSmart分布式存储还拥有宏杉科技特有的磁盘管理优化算法——主动式的磁盘诊断中心技术，支持数据自检、自动重建功能，即使在最小集群、最小硬盘数的情况下，平均每TB数据的重建时间也能控制在30分钟之内，数据重建速度非常迅速。
宏杉MSmart的Nest小文件聚合存储技术，即通过增强客户端将小文件聚合成大文件，分片后再并发地向分布式存储中写入，减少存储对小文件的负载，极大提升写入、查询和读取的性能。
智能数据算法的另一创新方向是分布式全闪存。宏杉MSmart全面支持分布式全闪存，尤其是全NVMe的配置，在数据算法上实现ROW无限快照，没有写入放大问题；并且优化了数据分布算法，通过均衡读写延长硬盘的寿命，为用户输出极致的存储性能。
高效的数据共享
宏杉MSmart分布式存储支持丰富的接口类型，比如NFS、CIFS、FTP、Http(s)、HDFS、S3/Swift、iSCSI等访问接口，以及自主研发的增强型Posix接口和块接口，通过一个集群就能直接访问所有接口，为用户提供不同应用场景之下最极致的带宽性能。
除了通用接口协议之外，宏杉科技自有的增强型智能存储协议，能够同时支持文件协议和块协议，最大的优势在于在客户端直接实现前端切片，无需配置后端网络，就能实现多线程并发读写，进一步增强存储的并发性能。基于增强型智能存储协议，宏杉MSmart还可以提供更高级的权限控制，完全满足用户对权限安全方面的要求。
针对非结构化数据的所有协议，宏杉MSmart分布式存储能够实现类似数据湖的多协议融合互通访问功能。在统一的全局命名空间下，实现所有非结构化数据的协议互通，无需进行数据迁移，就可以共享一份数据，大大提高了大数据分析效率。数据的互通访问还能有效避免数据重复存储，节省存储空间的同时降低总拥有成本。
灵活的管理方式
宏杉MSmart能够实现灵活的节点调整。分布式集群以3节点为最小规模配置，可以根据用户实际的业务需求完成在线扩展容量、在线缩减容量及在线节点更换，并且不强制要求所有节点结构或配置完全一致。基于这种情况，当新增节点的单节点容量和原有节点不一致时，可以通过两种不同方式实现数据的自动均衡。第一种情况是当所有节点间的可用容量完全一致时，可直接按照容量的方式在多个节点之间实现数据均衡。另一种是当新增的节点比原有节点的可用容量高时，宏杉MSmart也可以基于存储资源利用率进行自动均衡，保证所有节点的空间利用率一致。这两种自动均衡方式可自动切换，帮助用户无论是在线扩展容量、缩减容量或节点更换，都能够实现更灵活的管理。
基于目录的数据冗余设置是宏杉MSmart实现灵活管理的另一种方式。通常情况下，分布式存储被要求实现纠删、副本等一系列冗余模式，但是对于大多数产品而言，在一个集群或至少一个故障域之下，用户只能选择一种冗余模式，如4+2纠删或3副本等。而宏杉MSmart分布式存储可以基于任何一个目录独立设置冗余模式。
宏杉MSmart可以提供7种不同权限的灵活设置，7种不同权限可实现127种左右的权限组合，这种直接基于存储校验底层的访问权限，屏蔽了操作系统权限及其他相关权限，可以满足用户的存储权限管理需求。
结束语
总结来说，宏杉科技分布式存储具备四大创新特色：海量的数据存储服务、智能的数据管理算法、高效的数据共享方式和更灵活的存储和数据管理方式。
未来，宏杉科技将会通过持续自主创新引领智能存储的发展，以“智能”、“质造”和“服务”加速百行百业的数字化转型。
2021年11月23-25日，2021中国数据与存储峰会线上大会圆满闭幕，关注DOIT传媒微信公众号，点击“阅读原文”可进入会后专题，回顾视频限时免费观看，赶紧学习起来！
