AB测试系统如何从应用到搭建？

AB测试的意义？

AB测试是支持数据决策最有力的工具。

以下为最基础的数据驱动流程，方案验证即为AB测试过程，实验才是检验真理的唯一标准。

• 数据收集
• 数据分析
• 发现问题
• 提出方案
• 方案验证
• 发布上线

三、AB测试实验需要满足以下两个特性

1. 同时性

两个策略是同时投入使用的，而不是AB两种策略分先后上线，这样会有其他因素影响。

2. 同质性

两个策略对应的使用群体需要保证尽量一致。

四、AB测试实验详解

1. 流量分配规则：正交与互斥

（1）正交实验

每个独立实验为一层，一份流量穿越每层实验时，都会随机打散再重组，保证每层流量数量相同。

（2）互斥实验

实验在同一层拆分流量，不论如何拆分，不同组的流量是不重叠的。

（3）什么情况下正交、互斥分配流量？

我们刚刚就用的正交流量分配方式，导致了错误的数据结果，如果那个实验我们用互斥的流量分配方法就完美的解决了这个问题。

AB测试实验中，两个或多个实验内容相互影响则选择互斥方法分配流量，两个或多个实验内容不会相互影响则选择正交方法分配流量。

• 正交：可以节省流量；
• 互斥：可以让耦合的实验完美剥离开来不互相影响。

（4）举个例子

在详情页面上做两个实验：

• 其中一个是转化按钮颜色的AB测试实验；
• 另外一个是转化按钮文案的AB测试实验。

如果我们使用正交分配流量的方式会出现什么情况呢？

也就是流量同时命中实验一与实验二，最后展现在用户面前的就是如下图四种情况，这种情况我们是无法统计出准确的数据结果的，因为已经违背了单一变量原则。

这种最好使用互斥来分配流量，一部分用户命中实验一、另一部分用户命中实验二。

2. AB测试系统实验架构

AB测试系统实验架构包括：应用层-实验层-策略层。

（1）应用层

应用层级别最好，应用层与应用层之间的流量是正交的。

（2）实验层

实验层是应用层子层，实验层与实验层之间的流量是互斥的。

（3）策略层

策略层是实验层子层，一个实验可以有多个策略，多个策略之间流量相互不影响。

举个例子：

• 应用：App客户端
• 实验：购买按钮颜色
• 策略：红色、橘色

3. 创建实验

创建实验时一般先设置好实验条件和统计指标

实验条件：AB测试系统可以对一些条件的用户进行限制，城市、年级、新老用户、版本号、平台（iOS、Android、h5）。这里我们完全可以直接引入用户画像系统直接进行人群定向取做AB测试实验。传送门：《用户画像如何从搭建到应用实战？》

这个功能主要是针对满足这样实验条件的用户进行分流，如不满足这些条件则不分流，直接命中默认策略。默认策略是我们在创建策略时勾选的，如果用户不满足条件命中默认策略，这些用户产生的数据是不参与计算的，也就不会影响实验结果。

（1）城市、年级、新老用户

这几个条件很好理解，就是指用户所在城市、年级、新老，但需要用户登录才能拿到这样的信息。

如果设定了实验条件，用户处于非登录态怎么办呢？

非登录态的用户我们认为他是不满足实验条件的，所以会走默认策略，这样会避免一些不满足实验条件的用户却命中实验的可能。但为了保证同一个用户在登入登出看到的页面是相同的，所以这部分人即使登录后也会走默认策略。

但不是全部未登录用户都会这样，我们判断当前时间与未登录用户刚登录的时间点的差值是否大于两天。

如果大于两天我们会让他命中实验，进行分流，这样也是为了保证每天下载的大量用户也会命中AB测试的情况，达到一个平衡的状态。

（2）适用版本

这里的版本是针对客户端的AB测试提供的功能。

比如：iOS 在1.0.1 版本，Android在1.0.2版本上线一个AB测试实验。

如果不绑定版本号会出现什么情况？

因为版本发布，除强制升级外，用户还处于老版本。对于老版本的用户也会命中实验，但是这些用户并没有看到不同的策略，就会出现，AB测试系统分给用户A策略，但是用户看到的是B策略，最终影响数据准确性。

版本号设置会向上兼容，也就是说只有此版本号，或者高于此版本的用户才能命中实验。

（3）平台

平台分为3种，分别为：iOS客户端、Android客户端、JS（H5）

分别针对不同的平台进行的AB测试。

这里不说iOS和Android，只说一下H5，因为H5的埋点上报与客户端不一样，H5 的分流的唯一ID也与客户端不一样。客户端的分流使用的ID是设备ID，H5则是cookieID。

统计指标：

（1）对于AB两个策略上线后，我们需要跟踪两个策略的数据效果

这两个策略的效果数据来源就是页面的浏览与按钮的点击两个埋点事件来提供数据支持的。比如：客户端需要对课程详情页的报名按钮样式进行AB测试实验，数据监控的时候我们就需要统计进入详情页的人数与报名按钮点击uv进行统计。

以报名按钮uv/详情页uv此数值来统计报名按钮样式的AB两种策略效果，那么在创建实验时就需要确定统计指标，确定指标后就需要确定实验所需要哪些埋点指标统计。这里就需要详情页uv以及报名按钮uv两个埋点事件

当然还有更负责的数据指标，但都可以通过埋点数据上报来进行统计。

（2）计算方式