指标的数据质量校验

群友提问,语兴,你们组一般开发完数仓指标后 ,大致怎么个校验流程呢,我这边一般是先自己拿着计算好的指标和ods或者dwd对一下,相关的指标量。 如果没啥问题的话 ,别的同事不忙 会找他们来帮测一下

解答:首先通过自测方式把数据跑到线下环境数据表中,然后做数据探查(看数据表空值占比、最大、最小值、主键是否重复等),如果是要加字段还需要用线下和线上去做数据比对 比对添加字段后是否影响到之前字段了,其次select 一遍看整体指标分布情况有没有不太合理的,最后抽取一部分数据(比如100条)写明细数据计算sql跟你线上去比较,如果一致则没问题,但是在这里你并不能保证你计算的完全正确,但已经能保障到80%,后续让bi搭看板时候去核对检查,看看有没有问题。
全部评论

相关推荐

卓望数码 Java开发岗 总包23+1~2福利补贴,公积金12%
点赞 评论 收藏
转发
点赞 评论 收藏
转发
3 3 评论
分享
牛客网
牛客企业服务