当涉及决策的制订的时候,数据数值的准确性就非常重要了。假如数据不准确,决策制订者就有可能作出错误的假设,这会惨重的后果。在这篇贴士中,我将会列出确保数据正确性的技术,其中包括:
· 收集的确认
· 参考的完整性
· 查询表的使用
· 平衡应用程序的逻辑
· 反复核对
· 映射表
· 概要确认
· 抽查验证
· 文档规范
· NULL值治理
· 验证逻辑
· 处理异常和补救
坚持列表:数据清洁技术
收集的确认
确保用于报告和决策目的的数据的准确性,最简单的一种方式就是确保从一开始收集的就是准确的数据。这会让系统下游的人们生活得更轻松,因为他们不需要在导入数据的过程中编写验证逻辑。你可能会碰到一些与业务有关的困难,所以要考虑如下选项:
· 验证所有输入的数据。确保它符合一组合理的规则。
· 限制数据以自由的格式进入。使用check box或者下拉列表框来选择数据。
· 决定你如何激励雇员们提供输入准确的数据。
完整性参考和约束
我很惊奇于没有使用SQL Server自带的完整性参考和约束的系统是如此之多。这些技术,在默认情况下,是确保表之间数据的准确性的一个合理方法。他们还强加了一些规则,只在一定的范围内提供准确的数据。这是查看你的数据是否是孤儿,以及是否满足业务规则的一条简单的方法。通过使用本地自带的完整性参考和约束,下游的系统就可以花更少的力气在验证依靠数据和校正违反了业务规则的数据上。
查找表的利用方式
查找表提供了一种测量标准,确保应用程序使用的是一个已知数值,或者在脚本中使用的是一个临时的数值,而不是一个硬编码的数值。查找表可以防止应用程序或者用户输入不正确的数值,这样下游系统就不需要再去处理了。查找表提供了标准化的数据值,简化了下游系统数据处理的方式。
平衡应用程序逻辑
在某些系统中一个常见的情况就是大量的升级或者块数据载入过程。这些过程通常比让用户输入数据更加有效率。但是业务逻辑无法忽视,所以这些处理必须采取与应用程序同样的步骤来确保业务逻辑的应用。假如没有的话,下游系统就需要识别这些没有被与应用程序数据相同的业务规则处理的数据,还需要对其进行验证。
反复核对
根据数据和平台,存在一种普遍的执行检查和进行数据平衡的方法。例如,假如系统是财务驱动的,那么借方就必须等于贷方。对于制造业系统,下的订单和完成的订单必须相等。基于你的系统,判定你需要调节系统数据的哪个方面和平衡。
映射表
许多负责决策的系统都从他们的一些源系统中收集数据。源系统通常有各种各样的数据映射到一个单个值上。要减轻这种现实情况,考虑在初始值和财务值之间的报告系统中构建一个映射表。这可以改善有效数值和其他超出范围的数值之间的指派。
摘要验证
在摘要层面上验证数据。假如摘要数值同步了,那么就不再需要额外的验证和修补了,或者你还可以执行其他的处理来判定不正确的具体数据。在较高层次上验证数据可以是一种简单的准确的方式来确保数据的准确性。
抽样调查验证
当说到良好的古老习俗,数据清洁的时候,没有什么比执行数据的抽样验证更好了。虽然这是一个手工的过程,但是经过练习的眼睛可以很快发现错误,指出修正数据的机会,避免手工处理。这是最好的方式,应该时刻想到。
评论加载中…
![]() |