微博广告分层实验平台(Faraday)架构实践

《微博广告分层实验平台(Faraday)架构实践》要点：
本文介绍了微博广告分层实验平台(Faraday)架构实践，希望对您有用。如果有疑问，可以联系我们。

移动互联网广告基于大数据,实现广告的精准人群定向投放和效果评估,并借助于不可胜数的广告策略,控制着广告的实时投放,让数据驱动型的移动互联网广告沿着站方、用户、广告主三者共赢的目标不断前进.

大数据驱动使得效果指标的量化评估成为了可能.为了实现好的广告投放效率,线上运行的每一个广告策略需要相应的实验和效果分析,通过量化分析来评估该广告策略效果的好坏.策略可能需要不断地尝试,并进行合理地流量均匀分流,经过多轮线上 A/B test 实验迭代,才能形成最终的决策值.另外,广告平台上许许多多的策略,有的相互独立,有的相互影响,如何高效地进行大规模的并行策略实验,是个不小的挑战.

在广告为核心业务的移动互联网公司,从 Google,Facebook,到腾讯,阿里,百度,都有着一套支持广告策略快速迭代和支持大规模并行实验的广告实验平台.

近期微博广告正式推出了微博广告法拉第(Faraday)全流量分层实验平台.该实验平台支持大规模广告策略并发实验,提供了多种流量均匀分流模式,全面的广告指标跟踪评估,实验效果实时反馈等.

实验分层模型

该实验平台借鉴了 google 的论文 [备注一] 关于分层实验的设计思想,并结合微博广告平台的应用场景进行了大量的简化.

该分层模型的主要思想为：

• 相关联的策略参数位于同一实验层；
• 相互独立的策略参数分属于不同的实验层；
• 一个实验参数只能在一个实验层中出现；
• 不同实验层间进行独立的流量划分和独立的实验,互不影响.

该分层模式简单明了,可以满足大部分的应用场景.另外,还有明显的好处：

• 该分层模型是面向策略参数的实验分层,不受线上广告系统模块划分的影响,达到最大化可独立进行实验的个数；
• 每一实验层享有 100% 流量,可以避免流量切分过细,保证实验间的可对比性、客观性；
• 不同实验层之间流量正交,可以避免不同试验间的流量依赖和流量不均匀情况的出现.为了更好地评估实验的效果,每一实验层还引入了基准实验.该基准实验会采用该实验层的默认策略取值,流量配比会设定在一个合适的水平.

流量划分类型

流量的均匀划分是实验具有可对比性的前提.根据策略实验的需求和应用场景,系统提供以下不同均匀强度的流量划分类型：

• 流量完全随机 这是最简单的分流方式；
• 用户标识 id 哈希 该流量划分会使同一个用户会一直命中同一实验,从而保证了用户体验的一致性；而且也满足对同一用户具有累积效应的策略的实验需求；
• (用户标识 id+ 日期)哈希 这是一种更为严格的保证流量均匀性的分流方式,可以保证流量划分在跨时间维度上更为均匀,但是会牺牲用户请求跨时间区间的一致性；
• 8 用户 id 尾号划分 这是一种很常用、很简单的分流方式,还保证了用户体验的一致性,但是可能会由于尾号分布的不均匀性而造成流量分布的不够均匀,影响实验的可对比性.一种折衷方案是,根据用户标识 id 中间若干位来进行流量的划分.

对于涉及用户体验层面的实验,比如广告渲染的样式类型等,还会存在这样的需求,进行实验时,需要指定若干个用户命中指定的实验.这时,实验平台辅以白名单的方式,为流量划分类型提供补充.

具体进行流量划分时,为了实现实验层之间流量划分的正交性,会将流量标识信息和实验层标识一起进行实验流量 bucket 划分,实验层标识 layer_id 称为离散因子.如基于用户标识的流量划分：

理论上,通过以上几种流量划分类型,可以实现对应均匀强度的流量划分；但是,总会出现一些情况,发现最终划分的流量可能是不均匀的,从而影响到实验的可对比性.

对此,实验平台提供了一种流量划分的均匀性验证工具.基本思路为： 在广告系统中,用户是通过多维的画像向量(a,b,c,…,n)来进行刻画的,如果流量划分是均匀的,意味着用户的每一个画像向量分量在该流量划分条件下是均匀,更进一步,多个画像向量分量的组合在该流量划分条件下也是均匀的.通过进行用户画像向量单个分量和若干个画像向量分量的组合的均匀性验证,即可来反映该流量的划分的均匀性.

实验平台架构

实验平台整体架构图如下:

实验平台架构主要包括几个重要部分： 法拉第工作台,实验配置管理与决策中心,线上系统策略分发和控制,实验数据实时流和离线批处理,实验效果 dashboard 展示.下面对其中的关键特性予以介绍.

法拉第工作台

法拉第工作台供实验人员进行操作的入口.界面功能包括广告策略录入,实验创建与控制,扩量和全量发布,实验效果跟踪,实验平台前端界面大大降低了实验操作人员的门槛.

实验配置管理与决策中心

所有的实验策略配置信息都会持久化落地到配置中心(mysql 等),包括当前正在进行的实验的策略配置情况,也包括已经完成的实验配置情况.同时,实验策略配置会保存当前实验上下文的全局快照信息,可以进行指定版本的实验上下文的回滚.由于线上系统的策略配置决策信息完全依赖于实验平台和实验策略配置中心,实验策略配置中心本身的安全性,数据完整性,可用性,就变得极为重要.便于进行实验策略的回滚就是确保的系统稳定性和策略决策正确性的关键措施之一.

线上系统策略分发和控制

（编辑：ASP站长网）