从0到1创建智能灰度数据体系以vivo游戏中心为例

发布时间：2022-08-23 13:06 所属栏目：125 来源：互联网

导读：本文介绍了vivo游戏中心在灰度数据分析体系上的实践经验，从实验思想-数学方法-数据模型-产品方案四个层面提供了一套较为完整的智能灰度数据解决方案，以保障版本评估的科学性、项目进度以及灰度验证环节的快速闭环。该方案的亮点在于，指标异动根因分析方法

　　本文介绍了vivo游戏中心在灰度数据分析体系上的实践经验，从“实验思想-数学方法-数据模型-产品方案”四个层面提供了一套较为完整的智能灰度数据解决方案，以保障版本评估的科学性、项目进度以及灰度验证环节的快速闭环。该方案的亮点在于，指标异动根因分析方法的引入和全流程自动化产品方案的设计。

　　一、引言
　　游戏业务的用户规模体量大，业务链路长，数据逻辑繁杂。游戏中心作为游戏业务平台端的核心用户产品，版本迭代非常频繁，每次版本上线前都必须进行小量级的灰度验证。2021年以来，平均每1~2周都会有重要版本开始灰度，而且线上有时会同时有多个版本在灰度测试。

　　二、灰度数据体系的发展
　　2.1 什么是灰度发版
　　当游戏中心开发了全新的首页界面，应该如何验证新的首页是否被用户所接受，并且功能是否完善、性能是否稳定？

　　答：灰度发版。就是在新版本推送给全量用户使用之前，按照一定策略选取部分用户，让他们先行体验新版首页，以获得他们关于“新的首页好用或不好用”以及“如果不好用，是哪里出了问题”的使用反馈。如果出现重大问题，则及时回滚旧版本；反之则根据反馈结果进行查漏补缺，并适时继续放大新版本投放范围直至全量升级。

　　2.2 灰度评估方案发展阶段
　　判断灰度发版是否科学的关键在于控制变量，这一问题的解决过程，也是灰度评估方案迭代和发展的过程。

　　阶段一：确保了对比的时间相同，但升级速度差异意味着优先升级的用户和未升级的用户非同质用户，未能规避样本差异对数据结果差异的影响。

　　阶段二：确保了对比的人群相同，但用户行为可能随时间而变化，无法剔除前后时间因素的差异。

　　2.3 vivo游戏中心的做法
　　我们搭建了“游戏中心智能灰度数据体系”，并通过三版迭代逐步解决了本文开头提到的3个问题。数据体系由指标检验结果、维度下钻解读、用户属性校验、指标异常诊断等主题看板以及自动化推送的灰度结论报告组成。

　　完整方案部署上线后，基本实现了灰度评估阶段的自动化数据生产、效果检验、数据解读和决策建议的闭环，极大地释放了人力。

　　三、灰度数据体系中的方法论
　　在介绍数据方案设计前，先介绍一下灰度数据体系中涉及的背景知识和方法论，帮助大家更好地理解本文。

　　3.1 灰度实验
　　灰度实验包括抽样和效果检验两个部分，对应的是假设检验的思想以及样本历史差异性验证。

　　3.1.1 假设检验
　　假设检验是先对总体参数提出一个假设值，然后利用样本表现判断这一假设是否成立。

　　3.1.2 样本历史差异性验证
　　虽然灰度前事先已通过hash算法进行抽样，但由于抽样的随机性，一般会在统计检验和效果检验的同时，对样本的历史差异性进行验证，剔除样本本身差异带来的指标波动。灰度周期通常为7天，我们采用了7天滑动窗口取样的方法。

（编辑：ASP站长网）

从0到1创建智能灰度数据体系 以vivo游戏中心为例

从0到1创建智能灰度数据体系以vivo游戏中心为例