GB/T 46352-2025 信息技术 分布式存储协议互联技术要求

　　ICS 35.220. 01 CCS L 70

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 46352—2025

　　信息技术 分布式存储协议互联技术要求

　　Information technology—Technicalrequirementfordistributed storage

　　protocolinterconnection

　　2025-10-05发布 2026-05-01实施

　　国家市场监督管理总局国家标准化管理委员会

　　

　　发

　　

　　布

　　GB/T 46352—2025

　　目 次

　　前言 Ⅲ

　　引言 Ⅳ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 缩略语 2

　　5 技术架构 2

　　6 技术要求 3

　　6. 1 总体要求 3

　　6. 2 协议接入服务层 4

　　6. 3 统一语义处理层 5

　　6. 4 可扩展数据对象层 6

　　参考文献 8

　　Ⅰ

　　GB/T 46352—2025

　　前 言

　　本文件按照 GB/T 1. 1—2020《标准化工作导则 第 1部分 :标准化文件的结构和起草规则》的规定起草 。

　　请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别专利的责任 。

　　本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归 口 。

　　本文件起草单位 :浪潮电子信息产业股份有限公司 、中国电子技术标准化研究院 、深圳赛西信息技术有限公司 、深圳市江波龙电子股份有限公司 、中国移动通信集团有限公司 、华中科技大学 、成都华为技术有限公司 、北京同有飞骥科技股份有限公司 、济南浪潮数据技术有限公司 、江苏中天科技股份有限公司 、杭州海康威视数字技术股份有限公司 、浙江邦盛科技股份有限公司 、重庆大学 、西北工业大学 、汇钜存储科技(东莞)有限公司 、中移(杭州) 信息技术有限公司 、深圳市金胜电子科技有限公司 、厦门大学 、山东省计算中心(国家超级计算济南中心) 、浙江大华技术股份有限公司 、深圳众投互联信息技术有限公司 。

　　本文件主要起草人 :李辉 、孙 伟 、鲁 璐 、杨 宏 、孟 祥 瑞 、郭 雄 、冯 轶 、张 春 、王 芳 、冯 丹 、孟 凡 辉 、刘 洋 、孙斌 、高喜春 、白欣璐 、张晓 、周丹媛 、詹焕 、秦伟 、张在贵 、谌显 、张凯 、葛永新 、史伟强 、姜明李 、孙金洋 、余海波 、陈咸彰 、刘雨琪 、毛波 、赵晓南 、李敏 、魏佳何 、王亚莱 、沈嘉琦 、贾景润 、吴素贞 、孔维生 、周红彪 。

　　Ⅲ

　　GB/T 46352—2025

　　引 言

　　随着数据量的爆炸式增长 ,跨协议的多元业务数据访问已成为分布式存储领域的重要发展趋势 。为满足一份非结构化数据被主机上的新型计算多元业务跨文件 、对象等协议访问 ,实现数据实时共享互通 ,针对分布式存储系统提出分布式存储协议互联技术 。作为一种新的存储实现方式 ,本文件旨在给出分布式存储协议互联的技术架构 ,并规定实现分布式存储协议互联的技术要求 ,从而满足在面向单一非结构化数据访问服务设计的传统分布式存储等关键特性不变的基础上 ,支持非结构化数据多业务跨协议应用 ,减少不同协议访问产生的数据副本 ,最大限度地减少数据流动 , 降低实时并发访问语义操作损失 ,提升业务性能及空间存储数据利用率 ,进而有助于降低业务持续运行下的能耗 ,通过单一数据副本互通共享 ,提升存储系统的空间效率和整体效能 。

　　Ⅳ

　　GB/T 46352—2025

　　信息技术 分布式存储协议互联技术要求

　　1 范围

　　本文件规定了分布式存储协议互联技术架构及技术要求 。

　　本文件适用于分布式存储协议互联架构的设计和实现 。

　　2 规范性引用文件

　　本文件没有规范性引用文件 。

　　3 术语和定义

　　下列术语和定义适用于本文件 。

　　3. 1

　　分布式存储 distributed storage

　　通过网络整合分布在多台机器的存储空间资源 ,构成虚拟存储设备的一种数据存储技术 。

　　[来源 :GB/T 36074. 3—2019,3. 17] 3.2

　　存储协议 storageprotocol

　　主机和存储设备间进行传输 、访问和存储数据的规则和方法 。

　　注 : 本 文 件 中 的 存 储 协 议 是 指 文 件 存 储 协 议(NFS、SMB/CIFS、POSIX 文 件 操 作 相 关 接 口 规 定) 、对 象 存 储 协 议(S3、SWIFT)和大数据存储协议(HDFS、S3) 。这三类分布式存储协议主要应用于非结构化数据应用场景中 。

　　3.3

　　存储协议互联 storageprotocolinterconnection

　　存储协议之间进行语义操作相互兼容的技术 。

　　注 : 为满足一份数据能被主机多样应用跨存储协议实时访问 ,分布式存储基于全局可扩展数据对象层提供全局单一副本的数据共享存储方式 , 同时通过 统 一 的 存 储 协 议 语 义 映 射 处 理 , 实 现 存 储 协 议 同 时 关 联 接 入 及 语 义 操作兼容 。

　　3.4

　　元数据 metadata

　　定义和描述其他数据的数据 ,既包含来自主机应用产生的创建时间 、修改时间 、类型 、访问权限等信息 ,也包含分布式存储系统内产生的数据逻辑地址与物理地址映射等信息 。

　　[来源 :GB/T 18391. 1—2009,3. 2. 16,有修改] 3.5

　　统一元数据 unified metadata

　　融合多协议元数据 ,形成具有一致数据结构的信息 。

　　注 : 协议元数据包括目录(文件) 、桶(对象)的名称 、大小 、时间 、用户属主等信息 。

　　3.6

　　元数据组织 organization ofmetadata

　　按照一定的规则和方式对元数据对象进行归并 、处理和存储 。

　　1

　　GB/T 46352—2025

　　3.7

　　数据组织 organization ofdata

　　按照一定的规则和方式对数据对象进行归并 、处理和存储 。

　　[来源 :GB/T 39362—2020,3. 7,有修改]

　　4 缩略语

　　下列缩略语适用于本文件 。

　　ACL:访问控制列表(Access Control List)

　　CIFS:通用网络文件系统(Common InternetFileSystem)

　　CPU : 中央处理单元(CentralProcessing Unit)

　　HDFS: Hadoop分布式文件系统(Hadoop Distributed FileSystem)

　　ID:标识符(IDentifier)

　　LDAP:轻型目录访问协议(LightweightDirectory Access Protocol)

　　NFS: 网络文件系统(Network FileSystem)

　　NIS: 网络信息服务(Network Information Service)

　　POSIX:可移植操作系统接 口 (Portable Operating System Interface)

　　QoS:服务质量(Quality of Service)

　　SMB:服务器消息块(Server Message Block)

　　Swift:开源云计算的对象存储(OpenStack ObjectStorage)

　　S3:亚马逊简单存储服务(Amazon Simple Storage Service)

　　5 技术架构

　　分布式存储协议互联技术基于全局可扩展数据对象层 ,提供全局单一副本的数据共享存储方式 , 同时通过统一的存储协议语义映射处理 ,实现存储协议同时关联接入及语义操作兼容 。 图 1 给出了分布式存储协议互联技术架构 。

　　图 1 分布式存储协议互联技术架构

　　2

　　GB/T 46352—2025

　　分布式存储协议互联技术架构中各层技术的作用如下 :

　　— 协议接入服务层 :提供文件 、对象 、大数据服务同时接入以及鉴权认证 、负载均衡等功能 ;

　　— 统一语义处理层 :通过元数据映射转换和数据映射转换 ,提供统一的语义访问接 口 ,实现协议间语义操作实时转换 ,实现语义兼容 ;

　　— 可扩展数据对象层 :通过元数据组织和数据组织机制 ,提供具有一致数据结构的元数据对象和数据对象 , 以支撑多协议映射对应一份元数据和数据 。

　　示例 :

　　图 2 给出了分布式存储协议互联技术的一种实例示意 ,其中来自文件应用的数据(文件 A) 由 NFS协议写入并提供文件存储协议服务 ,文件 A通过统一语义处理层完成 元 数 据 映 射 和 数 据 映 射 后 ,形 成 可 扩 展 数 据 对 象 层 中 全 局 统 一 的元数据对象和数据对象 ,并实现元数据组织和数据组织 ; 当对象应用希望通过 S3协议读取文件 A 时 ,S3协 议 通 过 统 一语义处理层映射到文件 A,然后从可扩展数据对象层访问到文件 A,最终映射转换为指定 S3协议格式的数据内容 ,实现文件 A 以 NFS协议写入 ,S3协议读取 。

　　图 2 分布式存储协议互联技术实例示意

　　6 技术要求

　　6. 1 总体要求

　　分布式存储协议互联总体要求如下 :

　　a) 应支持文件 、对象 、大数据应用中的至少两类存储协议同时接入 ,支持协议标准接 口 ,并提供鉴权认证 ,负载均衡等能力 ;

　　b) 应提供协议统一语义访问接 口 ,支持与不同存储协议间进行语义接口实时转换 ;

　　c) 应使用一致数据结构的元数据对象和数据对象 ,支持不同协议的数据存储为全局统一的单 一副本 ,提供数据分布均衡及数据修复重构能力 。

　　3

　　GB/T 46352—2025

　　6.2 协议接入服务层

　　6.2. 1 存储访问接口

　　6.2. 1. 1 文件存储访问接口

　　对接文件存储应用时 ,文件存储访问接口要求如下 :

　　a) 应支持的 NFS(V3和 V4版本)协议 ,支持对目录 、文件(包括附属信息)的创建 、打开 、关闭 、查找 、遍历 、查询 、设置 、删除 、重命名 、读 、写 、数据同步等常用接 口 ;

　　b) 应支持的 CIFS/SMB(V1、V2和 V3版本)协议 ,支持对目录 、文件(包括附属信息) 的创建 、打开 、关闭 、删除 、查询 、设置 、读 、写 、数据同步 、租约等常用接 口 ;

　　c) 宜支持 POSIX文件操作接口的私有客户端模式 ,支持对目录 、文件(包括附属信息)的创建 、打开 、关闭 、查找 、遍历 、查询 、设置 、删除 、重命名 、读 、写 、数据同步等常用接 口 。

　　6.2. 1.2 对象存储访问接口

　　对接对象存储应用时 ,对象存储访问接口要求如下 。

　　a) 应支持 S3应用程序编程接 口 ,并应符合 :

　　1) 支持桶创建 、列举 、删除等常用接 口 ,宜支持桶生命周期 、桶策略 、桶 ACL等功能的设置 、查询等接 口 ;

　　2) 支持对象的上传 、下载 、删除 、拷贝 、移动 、列举 、查询 、分片上传等常用接 口 。

　　b) 宜支持 Swift接 口 ,并宜符合 :

　　1) 支持账户的创建 、查询 、修改 、删除 、容器列举等常用接 口 ,支持容器的创建 、查询 、修改 、删除 、对象列举等常用接 口 ;

　　2) 支持对象的创建 、查询 、复制 、删除等常用接 口 。

　　6.2. 1.3 大数据存储访问接口

　　对接大数据存储应用时 ,大数据存储访问接口要求如下 :

　　a) 应支持 HDFS接 口 , 以文件方式对接存储 ,支持对目录 、文件(包括附属信息) 的创建 、查找 、遍历 、查询 、设置 、删除 、重命名 、读 、写等常用接 口 ,宜支持配额 、快照 、ACL等功能 ;

　　b) 宜支持 S3接 口 , 以对象方式对接存储 ,接口要求见 6. 2. 1. 2。

　　6.2.2 协议接入功能

　　协议接入功能要求如下 。

　　a) 同一存储系统内 ,每个存储设备应提供多协议服务能力 ,支持多协议同时接入 。

　　b) 应支持协议接入鉴权认证 ,各协议至少支持一种鉴权认证方式 :

　　1) NFS协议鉴权认证 :本地用户 、LDAP域或 NIS域鉴权认证 ;

　　2) CIFS/SMB协议鉴权认证 :本地用户 、活动目录域或 LDAP域鉴权认证 ;

　　3) 文件私有客户端鉴权认证 :本地用户 、LDAP域或 NIS域鉴权认证 ;

　　4) HDFS协议鉴权认证 :本地用户或 LDAP域鉴权认证 ;

　　5) S3协议鉴权认证 :访问密钥/保密密钥或 LDAP域认证 ;

　　6) Swift支持 KeyStone用户认证方式 。

　　c) 宜支持单个协议内负载均衡 ,文件 、对象 、大数据应支持单协议内的统一域名访问服务 ,单协议内支持负载均衡 ,提供轮询 ,连接数或资源负载(CPU、内存 、带宽)等至少一种接入均衡方式 。

　　d) 宜支持多协议全局的负载均衡 ,文件 、对象 、大数据宜支持协议间的负载均衡 ,提供连接数或资源负载(CPU、内存 、带宽)等至少一种接入均衡方式 。

　　4

　　GB/T 46352—2025

　　e) 宜支持业务带宽及每秒操作数的 Qos功能 ,支持客户端 、存储节点 、用户 、目录/桶等至少一种Qos策略控制 ,保障多协议业务性能的均衡稳定 。

　　f) 支持协议服务异常自恢复机制 ,支持节点故障及恢复后协议服务切换迁移机制 ,切换迁移同时保证符合负载均衡要求 。

　　6.3 统一语义处理层

　　6.3. 1 统一语义访问接口

　　根据业务应用需求对接至少两类存储协议时 ,应满足协议语义兼容 。统一语义访问接口要求如下 :

　　a) 元 数 据 操 作 应 支 持 创 建 、查 找 、遍 历 、删 除 、重 命 名 、截 断 、设 置 、查 询 等 操 作 , 对 应 文 件 、 HDFS协议的目录(文件)以及对象协议的桶/容器(对象)的基础语义操作 ;

　　b) 数据操作应支持 :读 、新写 、修改写 、追加写 、删除 、截断等操作 ,对应文件 、HDFS协议的文件以及对象协议的对象的基础语义操作 ;

　　c) 元数据及数据语义操作接口支持携带协议本身的用户/权限等扩展的私有信息 ,语义操作结果符合扩展信息的要求或限制 。

　　6.3.2 元数据映射

　　根据协议元数据和统一元数据的相关性 ,多协议元数据通过映射转换成统一元数据 ; 同样地 ,统 一元数据也能通过映射转换为指定协议的元数据(元数据映射示意见图 3) 。元数据映射要求如下 :

　　a) 应支持文件 、HDFS协议的目录 、文件信息(目录(文件) 名称 、类型 、属主 、时间 、大小 、权限 、私有信息等)映射转换为统一元数据路径及对象信息 ;

　　b) 应支持对象协议的桶(对象)信息[租户名 、桶(对象) 名称 、属主 、状态 、类型 、时间 、大小 、标签 、私有信息等]映射转换为统一元数据路径及对象信息 ;

　　c) 应支持统一元数据路径/对象信息映射转换为文件 、HDFS协议的目录(文件)信息或对象协议的桶(对象)信息 ;

　　d) 宜支持文件 、HDFS协议的用户组 、用户(包括域)和权限信息映射转换为统一元数据用户及权限信息 ;

　　e) 宜支持对象协议的租户 、用户及权限信息映射转换为统一元数据用户及权限信息 ;

　　f) 宜支持统一元数据用户、权限信息映射转换为文件、HDFS、对象协议的用户/租户及权限信息 。

　　图 3 分布式存储系统协议互联元数据映射示意

　　5

　　GB/T 46352—2025

　　6.3.3 数据映射

　　将指定范围的不同协议格式的数据内容映射转换成全局统一的数据对象 ; 同样地 ,数据对象也能映射转换为指定协议格式的数据内容(数据映射示意见图 4) 。数据映射相关要求如下 :

　　a) 支持文件 、HDFS协议的文件数据内容映射转换为一个或多个数据对象的内容 ;

　　b) 支持对象协议的对象数据内容映射转换为一个或多个数据对象的内容 ;

　　c) 支持一个或多个数据对象的内容映射转换为文件 、HDFS、对象协议的数据内容 。

　　图 4 分布式存储系统协议互联数据映射示意

　　6.3.4 扩展功能

　　宜支持多协议下访问控制 、配额 、快照等功能的统一管理 ,如文件服务为目录设置的配额 ,对象服务对应的桶也会生效 ;或同一个本地用户 ,文件服务设置本用户访问 目录为只读 ,则本用户访问对象服务对应的桶也为只读 。

　　6.4 可扩展数据对象层

　　6.4. 1 统一数据结构的元数据对象和数据对象

　　基于元数据组织和数据组织 ,实现一种具有一致数据结构的可扩展元数据对象和数据对象 ,满足语义层的元数据及数据请求操作 ,要求如下 :

　　a) 基于元数据和数据的信息量 ,提供多级索引组织结构 ,支持在限定信息下通过内部索引定位到具体对象来进行访问 ;

　　b) 通过统一语义处理层的元数据映射和数据映射 , 多协议的数据内容通过数据对象持久化存储为全局统一的单一副本 ;

　　c) 数据组织结构应支持创建 、读 、写 、删除 、截断 、信息设置 、查询 、快照等操作 ;

　　d) 元数据组织结构应支持偏移长度方式或键值方式的创建 、读取 、删除 、更新等操作 。

　　6.4.2 元数据组织

　　元数据组织应支持路径 、对象 、用户及权限三类信息 ,要求如下 :

　　a) 统一元数据路径及统一元数据对象信息中包括但不限于 : 唯一名称 、类型 、属主 、时间 、大小 、权限等基本信息 , 以及私有的扩展信息(私有协议信息 、元数据/数据分布信息等) ;

　　b) 统一元数据用户及权限信息包括但不限于 : (域) 用户组/用户 ID、映射类型 、基本权限映射关系 、ACL权限映射关系等 。

　　6

　　GB/T 46352—2025

　　6.4.3 数据组织

　　数据组织要求如下 :

　　a) 全局数据对象信息包括但不限于 : 唯一 ID、对应协议数据的偏移 、数据长度以及私有信息 ;

　　b) 应支持均衡的数据分布策略 ,数据对象按照冗余及故障域策略均衡分布在分布式存储系统内 ;

　　c) 应支持数据恢复 、重均衡机制 。

　　7

　　GB/T 46352—2025

　　参 考 文 献

　　[1] GB/T 18391. 1—2009 信息技术 元数据注册系统(MDR) 第 1 部分 :框架

　　[2] GB/T 36074. 3—2019 信息技术服务 服务管理 第 3 部分 :技术要求

　　[3] GB/T 39362—2020 党政机关电子公文归档规范

　　[4] IETF RFC 1813 NFS Version3 ProtocolSpecification

　　[5] IETF RFC 7530 Network FileSystem (NFS) version4 Protocol

　　[6] IETF RFC 8881 Network FileSystem (NFS) Version4 Minor Version 1 Protocol

　　[7] OpenStack Object Storage API//可 从 https://docs. openstack. org/swift/pike/index. html获得//

　　8