GB/T 44811-2024 物联网 数据质量评价方法

　　ICS 35.240.01 CCS L 70

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 44811—2024

　　物联网 数据质量评价方法

　　Internet of things—Data quality evaluation methods

　　2024-10-26 发布 2025-05-01 实施

　　发

　　国家市场监督管理总局国家标准化管理委员会

　　

　　布

　　GB/T 44811—2024

　　目 次

　　前言 Ⅲ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 评价框架 1

　　5 数据范围界定 2

　　6 数据质量检查 2

　　6.1 评价指标 2

　　6.2 匹配规则 3

　　6.3 检查实施 3

　　7 权重分析 3

　　7.1 概述 3

　　7.2 业务权重分析 3

　　7.3 数据权重分析 4

　　8 评价结果计算 4

　　8.1 概述 4

　　8.2 质量检查分数计算 4

　　8.3 评价指标分数计算 4

　　8.4 综合评价分数计算 4

　　9 评价保障 5

　　9.1 制度保障 5

　　9.2 技术保障 5

　　9.3 系统保障 5

　　9.4 安全保障 5

　　参考文献 6

　　Ⅰ

　　GB/T 44811—2024

　　前 言

　　本文件按照 GB/T 1.1—2020《标准化工作导则 第 1 部分： 标准化文件的结构和起草规则》 的规定起草。

　　请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

　　本文件由全国信息技术标准化技术委员会 (SAC/TC 28)提出并归口。

　　本文件起草单位： 中国电子技术标准化研究院、 中广核智能科技(深圳) 有限责任公司、广东电网有限责任公司、 中国电子信息产业集团有限公司、 中国石油化工集团有限公司、北京卫星环境工程研究所 、 中国南方电网有限责任公司 、北京铜牛信息科技股份有限公司 、青岛新比特电子科技有限公司、浙江省数字经济发展中心、 内蒙古自治区大数据中心、联通数字科技有限公司、上海软中信息技术有限公司 、海南电网有限责任公司 、 国信优易数据股份有限公司 、 中国空间技术研究院 、深邦智能科技(青岛) 有限公司、 中国电信集团财务有限公司、星耀能(北京) 科技有限公司、北京全路通信信号研究设计院集团有限公司、浙江盘石信息技术股份有限公司、浙江方信标准技术有限公司。

　　本文件主要起草人： 王为中、陈伟雄、张超超、王春涛、蒋楠、李曼丽、李冰、高立伟、汪睿棋、王奥 、李欢 、 陈兵 、李志纯 、 陈希 、 陈亚利 、 陈进宝 、夏虎 、李彩虹 、周禹含 、杨琳 、张君 、张印、张少泽 、 张宏强 、 王敏 、 王国瑞 、 裴求根 、 陈彬 、 杨秋勇 、 付立民 、 郭天序 、 陆俊娟 、 张泽谦 、贾晓杰、宋博宇、王兰、刘国杰、王智永、 白雪、朱姝睿、胡之恒、 申中一、吴俊伟、张磊、冯曹冲、陈勇锦、王毅、李傲铁、才智、董卫魏、郭威。

　　Ⅲ

　　GB/T 44811—2024

　　物联网 数据质量评价方法

　　1 范围

　　本文件描述了物联网应用场景下的数据质量评价方法。

　　本文件适用于指导物联网数据全生存周期的数据质量评价过程的建立和审查。

　　2 规范性引用文件

　　本文件没有规范性引用文件。

　　3 术语和定义

　　下列术语和定义适用于本文件。

　　3.1

　　数据质量 data quality

　　在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。

　　[ 来源： GB/T 36344—2018 ，2.3] 3.2

　　数据集 dataset

　　具有一定主题，可标识并可被计算机化处理的数据集合。

　　[ 来源： GB/T 36344—2018 ，2.6] 3.3

　　数据生存周期 data lifecycle

　　将原始数据转化为可用于行动的知识的过程。

　　3.4

　　质量评价过程 quality evaluation procedure

　　用于应用和报告质量评价方法及结果的操作。

　　4 评价框架

　　物联网应用场景下，数据质量评价是在评价保障基础上通过数据范围界定，对数据选取的准确性、一致性、完整性、规范性、时效性和可访问性等指标进行数据质量检查，并对权重进行分析，计算评价结果的过程 。数据质量评价实施过程主要包括数据范围界定、数据质量检查、权重分析、评价结果计算和评价保障等 5 个环节，如图1 所示。

　　1

　　GB/T 44811—2024

　　图 1 数据质量评价实施框架

　　5 数据范围界定

　　开展评价前，应确定进行质量评价的数据集范围，可划分到表或者字段层面，并明确数据的业务场景、数据集内容、数据项属性。

　　6 数据质量检查

　　6.1 评价指标

　　数据质量评价指标见表 1。

　　表 1 数据质量评价指标表

　　一级指标

　　一级指标描述

　　二级指标

　　二级指标描述

　　准确性

　　度量数据和信息的正确或者描述真实实体的真实值的程度

　　内容准确率

　　数据集内容是否是预期数据，即数据集内容表述正确的元素数量与元素总数量之比

　　精度准确率

　　数据项精度是否满足预期要求，即数据项精度符合标准规范的元素数量与元素总数量之比

　　记录重复率

　　数据集记录意外重复的度量，即数据集重复记录条数与记录总条数之比

　　脏数据出现率

　　正确字段、记录、文件或数据集之外无效数据的度量，即数据集无效数据(非法字符和业务含义错误的数据)元素数量与元素总数量之比

　　一致性

　　度量数据值在数据信息含义上的一致程度

　　元素赋值一致率

　　不同数据描述同一个事物和事件的无矛盾程度，即数据集具有相同含义数据(同一时点、存储在不同位置)赋值一致的元素数量与元素总数量之比

　　2

　　GB/T 44811—2024

　　表 1 数据质量评价指标表(续)

　　一级指标

　　一级指标描述

　　二级指标

　　二级指标描述

　　完整性

　　度量数据填充完整的程度

　　元素填充率

　　数据集中应被赋值的数据元素的赋值程度，即数据集赋值的元素数量与元素总数量之比

　　记录填充率

　　数据集中应被赋值的数据记录的赋值程度，即数据集赋值完整的记录条数与记录总条数之比

　　数据项填充率

　　数据集中应被赋值的数据项的赋值程度，即数据集赋值完整的数据项数量与数据项总数量之比

　　规范性

　　度量数据按规定格式存储的程度

　　值域合规率

　　数据项值域符合标准规范的度量，即数据项值域符合标准规范的元素数量与元素总数量之比

　　元数据合规率

　　数据集符合元数据定义的度量，即数据集符合元数据规范的元素数量与元素总数量之比

　　格式合规率

　　数据集格式符合标准规范的度量，即数据集格式符合标准规范的元素数量与元素总数量之比

　　安全合规率

　　数据集符合法律法规和行业安全规范的度量，即数据集符合适用法律法规和行业安全规范的元素数量与元素总数量之比

　　时效性

　　度量信息在规定时间段内具有数据价值属性的程度

　　周期及时性

　　数据集赋值符合业务周期及时性的程度，即数据集赋值满足业务周期频率要求的元素数量与元素总数量之比

　　实时及时性

　　数据集赋值延迟时间符合实时及时性的程度，即数据集赋值延迟时间满足业务要求的元素数量与元素总数量之比

　　可访问性

　　度量用户进行查询、读取和修改数据能力的程度

　　可访问度

　　数据集在需要时的可获取程度，即数据集请求访问成功的元素数量与请求访问元素总数量之比

　　6.2 匹配规则

　　依据数据集和评价指标制定符合评价指标描述的数据字段匹配规则。

　　6.3 检查实施

　　依据评价指标通过匹配的规则对数据进行规则匹配检查，获得符合评价指标的数据检查结果。

　　7 权重分析

　　7.1 概述

　　通过应用场景对数据层面进行业务权重分析和对字段层面进行数据权重分析。

　　7.2 业务权重分析

　　分析业务属性在数据质量评价过程中的重要性程度，可采用层次分析法、 因子分析法、主成分法、优序图法、客观赋值法等方法对业务权重进行分析，应从以下角度对评价权重进行分析：

　　a) 数据业务场景在物联网应用下的分类情况;

　　b) 数据在相应业务场景下的内部增效情况;

　　3

　　GB/T 44811—2024

　　c) 数据在相应业务场景下的外部增值情况。

　　7.3 数据权重分析

　　分析数据属性在数据质量评价过程中的重要性程度，可采用层次分析法、 因子分析法、主成分法、优序图法、客观赋值法等方法对数据权重进行分析，应从以下角度对评价权重进行分析：

　　a) 数据字段在业务场景下是否为核心字段;

　　b) 数据的业务目的需求;

　　c) 数据和业务的关联度;

　　d) 数据访问的频率。

　　8 评价结果计算

　　8.1 概述

　　通过数据质量检查结果和权重进行综合评分计算，包括质量检查分数计算、评价指标分数计算和综合评价分数计算。

　　8.2 质量检查分数计算

　　质量检查评价是检查实施过程中数据项符合二级评价指标的程度，按公式(1) 计算数据字段评价得分。

　　j = bj=aj × 100 …………………………(1)

　　式中：

　　j ─数据字段评价得分;

　　aj ─被检测数据项数量，确定方法见表1;

　　bj ─符合评价维度数据项数量，确定方法见表1。

　　8.3 评价指标分数计算

　　按公式(2) 计算二级评价指标得分。

　　qk j × !kjki …………………………(2)

　　式中：

　　qk ─二级评价指标 k的得分;

　　4

　　m

　　

　　─

　　

　　二级评价指标 k覆盖的字段数;

　　!kj ─二级评价指标 k的j字段权重;

　　!ki ─二级评价指标 k的i字段权重。

　　8.4 综合评价分数计算

　　按公式(3) 计算一级评价指标得分。

　　Ql k × qk …………………………(3)

　　GB/T 44811—2024

　　式中：

　　Ql ─一级评价指标l的得分;

　　n ─一级评价指标l覆盖的二级评价指标数;

　　ωk ─二级评价指标k的权重;

　　q k ─二级评价指标k的得分。

　　按公式(4) 计算综合评价指标得分。

　　QA l × Ql …………………………(4)

　　式中：

　　QA ─综合评价指标得分;

　　o ─覆盖的一级评价指标数;

　　!l ─一级评价指标l的权重。

　　9 评价保障

　　9.1 制度保障

　　通过数据质量评价相关的标准规范、制度流程和人员管理等体系建设，规范数据质量评价流程 。具体要求如下：

　　a) 应建立评价的管理制度，并持续改进;

　　b) 应明确评价范围、流程、标准及规范;

　　c) 应明确评价专业人员的能力要求，并建立能力考核机制。

　　9.2 技术保障

　　数据领域和信息技术领域的系列关键技术具体要求如下：

　　a) 应集成并提供多类数据规则算法，涵盖常见和基础的数据项;

　　b) 宜使用人工智能、区块链等技术，实现数据质量评价全流程可信、可监控、可追溯。

　　9.3 系统保障

　　将数据质量评价方法和流程等通过软件系统来固化、落地和验证，为数据质量评价工作的申请与执行提供规范、可靠、智能的工具和环境支持 。系统保障宜支撑数据范围获取，功能包括对数据登记、范围划分、分类、规则划分等的流程管理、 自动化辅助和工作协同支持等。

　　9.4 安全保障

　　数据质量评价过程安全管理应涉及数据的规划、 申请、执行、归档等全过程，包含组织、制度、规范和技术等全方位的安全，确保流程、操作的规范性和安全性，规避数据在质量评价过程中发生泄露或窃取等风险，确保评价过程被记录、可追溯。

　　5

　　GB/T 44811—2024

　　参 考 文 献

　　[1] GB/T 36344—2018 信息技术 数据质量评价指标

　　6