借助友盟+U-App通过AB Test个人中心改版分析报告

来源:http://www.allianziot.com 作者:媒体 人气:69 发布时间:2019-07-15
摘要:工具:本篇文章分析工具为友盟+移动统计(U-App AI版)、自有BI系统分析 作者:JM,从0到1规划过访客日浏览量超千万的流量分析系统,曾为年销售破百亿跨境电商公司商业分析系统的产品

  工具:本篇文章分析工具为友盟+移动统计(U-App AI版)、自有BI系统分析

  作者:JM,从0到1规划过访客日浏览量超千万的流量分析系统,曾为年销售破百亿跨境电商公司商业分析系统的产品负责人,现为广告营销公司数据产品经理。

  为配合电商App的大改版,上级也对个人中心的界面风格提出新的要求,因此也提出个人中心首页改版的要求。

  个人中心首页作为信息分流类页面,核心是快速将用户导航到所需的功能模块。其次,除了导航到不同的功能模块,还提供商品推荐、引导邮箱验证等内容(重点在于效果复盘,前期需求分析不做赘述)。因此可以根据页面的功能定位及现有提供的功能,制定本次改版目标。

  (1)优化个人中心首页的功能导航,使用户快速找到相应功能板块,降低个人中心的平均停留时间;

  (2)推荐产品改为铺开展示,增加个人中心首页推荐位产品曝光量,提高个人中心首页推荐位的交易量;

  (3)邮箱验证新增积分奖励提示,促使更多用户完成邮箱验证,提高用户邮箱验证数。

  新旧版个人中心首页同时在线,通过分流工具进行流量划分,保证实验中的新旧样本数量基本一致。

  AB实验期间,会根据既定的改版目标,重点监控AB版本核心指标的对比情况,以便调整AB实验的分流策略。为保证初期分流比例能使AB版本的测试会话数足够多,避免因基数过小导致对AB实验结果的误判,根据个人中心首页近一个月的流量情况,初始实验流量比例为20%。(即假设平均每日访问个人中心首页的会线%的比例参与实验,每个版本每日分到的会线平均停留时间

  指标含义:统计日期内,用户对该功能页面的平均使用时长情况;平均停留时间的大小本身并无好坏之分,根据具体场景评估平均停留时间大小的影响。(例如:文章页面,平均停留时间可能是越大越好;而对于导航类页面,用户能多快就多快找到自己想要的东西,平均停留时长是越小越好)

  指标含义:统计日期内,该功能页面是否会导致用户退出使用产品;退出百分比的大小本身并无好坏之分,根据具体场景评估退出百分比大小的影响。(例如:商品页面,退出百分比是越小越好,该类页面的作用还是在流程指引上,并不是流程的终点,要尽可能避免造成用户退出;而对于支付完成页面,用户已经达成既定交易转化目标,用户可能会退出产品,退出百分比是越大越好)

  前置工作:在后台注册后,然后在后台成功注册后再进行埋码,将“交易成功”作为事件埋点

  根据AB实验情况,效果达到预期优化方向,因此在后续时间里,逐步放大实验流量比例,过程中效果也依旧达到优化方向,直至完全放量,换下旧版本,换上新版本。

  在全流量替换旧版本,上线新版本后,还需要监测新版本效果一段时间,在这里选取了两周作为效果观察期,与实验前数据进行对比校验,效果观察期间,数据反馈情况依旧达到优化方向。因此,本次实验顺利完成,为便于后期迭代,下面进行改版的数据复盘。

  *平均停留时间、退出百分比、邮箱验证数:数据取自U-App AI版,对比时间段为11.16-11.27

  *交易次数:数据取自自研数据系统,对比时间段为11.05-11.13与11.19-11.27;28、29号数据由于样式发生变化,所以不纳入计算,已修复

  *实验说明:采用的是自研数据系统的AB实验功能,实验的新旧样本数量相近,不考虑基数造成目标次数的差异问题

  1.优化个人中心首页的功能导航,使用户快速找到相应功能板块,降低默认页的停留时间;从目前数据看,新版默认页平均停留时间为12.0s,相较旧版的18.0s降低了27%,同时页面退出百分比也降低35%,下降为2%;说明改版在降低用户页面平均停留时间的同时,也并未造成更多用户退出网站,反而是促使更多用户持续访问网站,达成改版目标;

  2.增加个人中心首页推荐位产品的曝光量,提高默认页推荐位的成单量;从目前数据来看,新版默认页交易次数为4,275,相较相邻周期旧版的交易次数3,340次提高了28%;达成改版目标;

  3.邮箱验证新增提示,促使更多用户完成邮箱验证,开启积分模块;从目前数据来看,新版默认页邮箱验证数为3,755,相较旧版的邮箱验证数735次提高了511%;达成改版目标。

  指标含义:PV即表示页面的访问次数,UV表示页面的访客数,但这里缺少了页面的UV统计,反应不了访客对页面的使用频率,例如注册页面较平时的平均访问次数暴涨,可能是注册流程存在流程使用障碍,如注册成功返回不成功,引起用户频繁刷新,可能导致UV不变,但PV暴涨。

  由于个人中心首页是定位于个人中心功能导航,所以在评判个人中心首页的效率上,是从停留时间越短越好的角度出发。(一定范围内)从上图看平均停留时间:页面平均停留时间波动比较大,但新版个人中心首页的平均停留时间大多时候都是比旧版的平均停留时间低,所以新版个人中心首页达到了降低页面平均停留时间的目标。

  从上图看退出百分比,可以看出:页面的退出率也是波动比较大,其中新版个人中心首页的退出百分比也是大多时间低于旧版的退出百分比,说明新版个人中心首页为引导用户进一步访问网站做出更大贡献,从而其它页面也得到更多的访问;另一个角度,在降低页面平均停留时间的同时,也并未造成更多用户在该页退出网站。

  从上图看页面跳出率,可以看出:用户在个人中心首页进行着陆时,新旧版本的数据表现基本一致,新版本并不能有效解决用户着陆跳出的情况,跳出率一般反映着陆页对用户的吸引力,促使用户进一步访问网站。

  1.个人中心首页并不是常规用户的着陆页,可从这些用户的来源入手,为什么在用户中心着陆,再就来源进行分析;可能是站内用户重启会话的当前页面,但没继续访问就关掉页面了;

  2.作为着陆页,用户读完后,是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西;同时,如果考虑引导新增,需要考虑个人中心首页本身定位于功能导航页面;

  目前网站的注册是没有经过邮箱验证的环节,只要是合乎格式的邮箱就能顺利注册成功,因此可能存在非用户使用的邮箱,加大我们对用户区分的难度。同时,个人中心的积分模块是需要邮箱验证才能开启。在新版的个人中心首页中,新增了邮箱验证的奖励积分提示,期望让更多用户去完成邮箱验证操作,上图统计的是用户点击邮箱验证的情况。

  可以看到,新版邮箱验证数远高于旧版邮箱验证数,伴随实验流量的加大(23号调至50%),新旧版的验证数对比越来越明显。截至29日,同样实验样本,新版邮箱验证数达3,755次,高出旧版邮箱验证数511%。

  交易次数对比的是实验上线天的数据对比,采用的是星期对比(比如19日是周六,那对比的也是相邻最近的周六),排除星期单量的周期变化带来的影响。可以看到,在流量小初期,新旧对比还不是特别明显,在23号加大实验流量后,新旧间的交易次数对比就越来越明显。截至27日,对比11.05-11.13与11.19-11.27的交易次数,新版交易次数达4,275次,高出旧版交易次数28%。

  结合推荐位的位置考虑,“猜你喜欢”是属于第一屏,不需要切换即可查看,因此可以推测产品展示方式改为铺开展示后,虽然产品的曝光得到增长,但是也仅限第一屏的推荐位。基于“猜你喜欢”的点击基数大,所以也让整体推荐位的点击次数得到增长。

  同时,我们也发现:第一屏的推荐位会得到更高曝光,同时也会减弱用户对其它推荐位的注意力,从而造成非第一屏推荐位(即需进行Tab切换的推荐位)的点击发生明显下降。

  涉及对交易数据的维度拆分,采用的是触点归因(即分清每个位置实际带来的交易转化,而不是指经过这个路径或操作的用户转化,如Banner实际销售效果、文本链接实际销售效果、活动页面实际销售效果)。

  在这一块,友盟+提供的产品尚未满足对触点归因的支持,因此涉及对维度拆分分析的,采用自研数据系统,下同。

  从上面来看,“秒杀”在改版过程中未做调整,只做了UI界面改版,可能是秒杀商品的折扣力度问题,引起数值波动异常。我们主要分析“历史浏览”及“猜你喜欢”两个推荐位,结合前面3.3.1的分析,我们可以看到“猜你喜欢”交易的增长速度和点击的增长速度相近,符合预期中伴随点击越来越多,成交也越来越多。同时“历史浏览”的交易下降比例相较点击却低很多,而交易UV与点击UV的下降比例也相近,推测可能是有用户多次购买,从而造成交易下降比例不符预期。

  (1)用户中心并不是常规着陆页,可从用户来源入手,为什么在用户中心着陆?再就来源进行分析;可能是站内用户重启会话的当前页面,但没继续访问就关掉页面了。

  U-App AI版可查看用户访问路径,但存在不能就路径某个环节具体分析,拆分出站外引流和站内引流入口的数据情况,按照场景去分析页面的跳出情况,现有整体路径分析的入口如下:

  (2)作为着陆页,用户读完后,是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西;同时,如果考虑引导新增,需要考虑默认页本身定位于功能导航页面。

  (1)在铺开产品展示时,第一屏的推荐位会得到更高曝光,同时也会减弱用户对其它推荐位的注意力,造成非第一屏推荐位的点击发生明显下降;

本文由欧冠买球app发布于媒体,转载请注明出处:借助友盟+U-App通过AB Test个人中心改版分析报告

关键词: uv访客

最火资讯

Baidu
sogou