平安证券刘宏霞：教你如何保障大数据质量(4)

我们会在监控平台进行设置,还有一些是测试人员,或者我们业务人员他有自己的想法,他不想按照常规的方式,可能常规方式也不符合需求,因为这是大体上的监控,并不能保证里面的数据是不是存在问题.

5.4 自定义监控

在自定义监控上,开发人员和业务人员可以根据自己的需求设置相应的指标,这个平台相对而言,它灵活性比较高一些,可以被我们所有相关人员进行使用,根据需求进行监控.

除了数据监控之外,我们业务人员会根据自己的需求,从业务角度制定相关的监控.比如一些核心指标,可以在监控平台进行设置,也可以通过报表的方式进行监控,关注了哪些指标,这是业务人员可以根据自己的方式进行相关监控.

6、总结

最后总结下,我们是从开发阶段、测试阶段、监控阶段,来保证大数据的数据准确性,在开发阶段主要是一站式服务,从创建到执行,到比对,开发阶段完成之后,才能够转测试,在测试阶段,我们会进行数据诊断,自动化测试.

自动化测试完成后确认脚本没有问题之后,可以上线,测试人员评审,评审通过之后,就意味着调度是可以进行上线的,就发布到预上线过程,通知运维人员调度已经完成测试,可以进行上线,后面的操作就会由运维人员进行处理.

上线之后监控平台监控调度、数据、业务是否存在问题,如果存在问题,就会快速通知到相关的开发人员或者运维人员进行相应的处理,这是目前已经实现的情况.

对于未来我们有什么考虑呢?第一我们会考虑平台互通,目前我们开发平台、测试平台、监控平台,都是相对独立的.

目前开发平台和监控平台之间还有一些关联关系,但是我们自动化平台是没有跟它们进行打通的.后面会考虑,比如说开发完一个调度之后,自动到自动化平台进行运行,可以快速保证,完成测试的过程.

另外还有一个部分,我们会考虑自动化平台和监控平台打通,打通的目的比如一个指标出现问题,可能并不清楚是哪个客户指标出现问题了,如果和监控打通的话,快速知道是哪个客户的指标出现问题.

第二部分,我们会对我们的平台进行丰富,后续我们会把很多东西加入到自动化平台来,真正的产品化.另外是监控体系,目前监控体系有一部分是由数据分析人员分析出来一些值和数据提供给我们,进行监控.

但是这些是被动的,我们后期会把一些统计分析其机器学习方法运用到监控当中,丰富监控指标.

另外当前我们做的数据都是离线数据,每天晚上交易结束之后,会把数据进行迁移,对于实时数据目前没有验证,后续我们也要考虑怎么保证实时数据的准确性.

原文来自——微信公众号(高效运维)

（编辑：ASP站长网）