9-2 严选 AB 科学实验平台实践.pdf

1、严选AB科学实验平台实践丁伟伟|01项目背景与痛点项目背景与痛点03系统设计系统设计02实验科学性设计实验科学性设计04案例分享案例分享目录目录CONTENT|项目背景与痛点01|决策无处不在搜索、推荐算法模型迭代搜索、推荐算法模型迭代了一个参数，了一个参数，对线上效果如何？对线上效果如何？首页去掉一个模块效果首页去掉一个模块效果会有影响么？会有影响么？投不投优惠券和红包投不投优惠券和红包对用户影响大么？对用户影响大么？支付链路上增加活动引导支付链路上增加活动引导能促成交？能促成交？毛利会下降多少？毛利会下降多少？|如何做实验？实验方案开发随机分流开发AB方案埋点线上运行数据开发统计数据分析师

2、报表呈现每个业务开发各异，足够随机么？不同业务间实验相互影响如何排除埋点需要重复提需求、开发、验证，漏埋，错埋，返工经常出现多久合适？3天？一周？统计口径不统一重复开发曲解、局部解、误解?1个后端开发n个多端客户端开发1个产品1个分析师1个数据开发|解决方案实验前实验中实验后最小样本量预估流量接管埋点自动化指标统一报表自动化科学分析实验科学性设计02|实验科学性关键因素?95%置信区间?|最小样本量(实验周期预估)-案例如何科学的预估实验的周期或需要的样本数？用来验证转化率从1%-2%从1.1%-1.2%周期和样本数相同么？实验对象线上流量最小样本数实验周期实验预估效果|最小样本量(实验周期预

3、估)p1,p2=p1为对照组的数值(百分比)，p2为实验组的数值(百分比)=|p2-p1|=两组数值的差值的绝对值n1=第一组数值的样本数n2=第二组数值的样本数，n2=K*n1=第一类错误的概率值(通常 0.05)=第二类错误的概率值(通常 0.2)z=Z值，根据和查表得到，(通常=0.05时取1.96)K=实验组的样本数和对照组的样本数的比值，可以理解为流量的比值,同小写k|科学分析-案例哪个方案更好？哪个方案更好？均值靠均值比大小靠均值比大小or 看数据曲线谁比较有优势，都看数据曲线谁比较有优势，都局部曲线完整曲线|科学分析-统计显著性AB实验是假设检验的应用场景实验是假设检验的应用场景

4、显著性检测是假设检验的一种常用方法，显著性检测中的原假设（零假设、无效假设）一般设定为方案之间没有差异，是需要被推翻的假设若原假设为真，而检验的结论却劝你放弃原假设。这种错误称之为第一类错误。通常把第一类错误出现的概率记为若原假设不真，而检验的结论却劝你采纳原假设。这种错误称之为第二类错误。通常把第二类错误出现的概率记为通常，固定的值（如0.05）的情况下，通过累积样本来降低。实际没效果（原假设实际为真）实际有效果（原假设实际为假）检验没效果1-（取伪）检验有效果（弃真）1-|统计学分析-统计显著性统计显著性计算统计显著性计算一般设定为0.05p-value=，则认为统计显著，反之统计不显著统

5、计功效计算统计功效计算确定值=0.05后，从样本数计算公式根据当前样本数反推值平台认为平台认为p-value=80%时，认为具备统计显著性，方案有差异时，认为具备统计显著性，方案有差异|统计学分析-效果显著性有统计学显著的差异后，效果性（差值）如何衡量呢？有统计学显著的差异后，效果性（差值）如何衡量呢？计算95%置信区间来衡量差值的正态分布所在的区间95%的面积|流量接管(复用)-google流量模型同层互斥同层互斥跨层正交跨层正交|流量接管(复用)-google流量模型时间首页模块顺序/有无支付页弹窗有无首焦样式调整金刚区素材调整首猜算法模型调整商详头图氛围调整首猜大促到手价露出流量层同层流

6、量划分实现互斥跨层实现正交时间区分，实现互斥系统设计03|实验流程设计配置实验方案选择直接指标调控流量实验上线报表产出理想流程理想流程回到痛点回到痛点 流量管控 最小样本数预估 科学分析 埋点自动化 指标统一 报表自动化|数据体系建设阻碍自动化的核心问题 埋点自动化 指标统一 报表自动化业务开发产品分析师数据开发?|数据体系建设-埋点自动化页面埋点(page=index),页面全部埋点自动添加页面内实验信息模块埋点(page=index,module=banner),模块埋点