数据质量体系结构介绍
作者: 杜绍森 编译, 出处:IT168, 责任编辑: 李书琴,
2008-05-12 09:14
数据质量管理过程是一个没有终点的过程,也没有统一架构原则。这里提供的是一种针对数据仓库项目可以简单实现的、可扩展的、一种相对比较完善的捕捉数据质量事件,同时对其进行量度和控制的方法。
在完成最终的审计报告时,看看下面的审计报表,会发现一些可爱的地方。如下图:
图3: 利用审计维产生的报表
图中上测的那个报告看似是个正常的报表;但是下面的报表,可以清晰的揭示报告中存在的异常。在有审计维的体系结构中,通过一个简单的命令,这些质量审计报表就可以快速地实现。
7. 应用Six Sigma质量标准
借鉴制造业成功的质量管理实践,这些经验在数据仓库的领域也是非常有用的。在制造商的世界里,6 Sigma质量实践已经在帮助他们取得了具体、明显的质量进步,甚至将缺陷率降低到百万分之3到4的水平。而错误事件主题模型是一个非常好的基础,可以用来才采用6 Sigma标准来指导数据仓库领域的质量的实践。在错误事实主题中记录的所有的错误事件使得我们有机会通过使通过特定的机制对质量问题进行监控、评估,用于未来的改善。
本文中描述的数据质量框架,提供了一种可以以较小的代价,增量的添加到已有的数据仓库和数据集成环境中。一旦错误事件主题模型成功地建立之后,我们可以根据实际的环境确定质量Screen实施进度。需要完成的就是后面两个具体的两个工作:记录每一次发生的问题;决定对特定问题的特定的处理方式。错误Screen的实现并不拘泥于特定的技术,可以嵌入自己的代码中,也可以借助于特定的专业化的ETL 工具。
当然,数据质量管理过程是一个没有终点的过程,也没有统一架构原则。这里提供的是一种针对数据仓库项目可以简单实现的、可扩展的、一种相对比较完善的捕捉数据质量事件,同时对其进行量度和控制的方法。

