数据质量是数据资产价值的基础,建立完善的数据质量治理体系是企业的必备能力。
本文系统介绍数据质量的核心概念、治理框架和实战案例,帮助你构建数据质量保障体系。
一、数据质量概述
1.1 数据质量维度
| 维度 | 说明 | 示例 |
|---|---|---|
| 完整性 | 数据是否完整 | 缺失字段、空值 |
| 准确性 | 数据是否正确 | 错误值、格式错误 |
| 一致性 | 数据是否一致 | 跨系统数据不一致 |
| 及时性 | 数据是否及时 | 数据延迟 |
| 唯一性 | 数据是否唯一 | 重复数据 |
2026/8/19大约 4 分钟
数据质量是数据资产价值的基础,建立完善的数据质量治理体系是企业的必备能力。
本文系统介绍数据质量的核心概念、治理框架和实战案例,帮助你构建数据质量保障体系。
| 维度 | 说明 | 示例 |
|---|---|---|
| 完整性 | 数据是否完整 | 缺失字段、空值 |
| 准确性 | 数据是否正确 | 错误值、格式错误 |
| 一致性 | 数据是否一致 | 跨系统数据不一致 |
| 及时性 | 数据是否及时 | 数据延迟 |
| 唯一性 | 数据是否唯一 | 重复数据 |
"Garbage In, Garbage Out。微调效果 80% 取决于数据质量,20% 取决于训练方法。"
很多人把精力花在调学习率、选 LoRA rank、试不同优化器上,但忽略了最重要的事情:数据质量。
实践中,数据质量对微调效果的影响远超算法选择:
┌─────────────────────────────────────────────────┐
│ 微调效果影响因素分析 │
│ │
│ 数据质量 ████████████████████░░ 80% │
│ 数据配比 ████████░░░░░░░░░░░░░░ 15% │
│ 训练方法 ████░░░░░░░░░░░░░░░░░░ 3% │
│ 超参调优 ██░░░░░░░░░░░░░░░░░░░░ 2% │
│ │
│ 结论:把时间花在数据上! │
└─────────────────────────────────────────────────┘