喜马拉雅高级商业分析师：如何搭建渠道评估体系？

应用商店高筑流量壁垒。大手机厂商应用商店的商业化程度越来越严重，开始追求利益最大化的变现，应用推广成本水涨船高，平均一个激活成本2-3元的时代一去不复返，目前一个金融类应用的激活成本甚至高达几十元；

渠道媒体鱼龙混杂。移动媒体推广、信息流广告原生广告爆发，面对竞争态势异常激烈、鱼龙混杂的媒体环境，转化效果精准评估和异常流量甄别成为广告主推广的痛点；

对渠道获客从业者的数据能力要求越来越高。数据科学在渠道推广中的作用举足轻重，最大可能利用数据来驱动业务的增长，是对增长负责人、产品及运营负责人的新考验。

但正所谓“渠道是立身之本，产品是立命之本”，互联网企业不能回避问题，更需要迎难而上。

在常见的渠道获客方式中，无论是免费、付费还是换量，不同渠道的天然属性固然存在一定差异（即带来的用户激活App的情况会因渠道属性天然存在一定差异），但抛开不可控因素，渠道获客的从业者如何在这些渠道里剔除假量，识别出优质量，并通过不断的渠道构成优化使得渠道投放的ROI效率最大化，才是解决上述三个问题的关键。

为此我们构建了一套渠道评估体系，如下图所示：

App渠道评估体系分为渠道反作弊评估体系和渠道质量评估体系。

渠道反作弊体系：以渠道真量为目标，用于识别渠道假量；

渠道质量评估体系：可分为渠道有效性评估体系、渠道留存评估体系和渠道ROI评估体系，分别对应新增、活跃和收益这三个目标，旨在量化渠道效率、量化渠道留存质量和量化投入产出效率。

一、真实案例分析

案例一、渠道整体比例和时间掺入假量

2018年12月，我在审核DSP渠道某个账户质量时，发现这个账户连续3个月在各个既定指标上均是贴着KPI走，不高也不低，长期的从业经历让我意识到这里面可能存在问题。于是又深入到渠道包维度（一个投放计划对应着一个渠道包）查看了各个指标的数据详情。

通过分析发现，每隔一段时间都会有几个渠道包的1日/3日等短期留存率正常，而7日/14日/30日等中长期留存率极其低（如下图），同时这些中长期留存率低的渠道包并不是固定几个，而是在不定期轮流变化。基本可确定这个渠道在控制整体质量的同时掺入了假量。

这类广告商不可谓不“狡猾”：全量造假是很容易被发现，转而以退为进，整体满足KPI的情况下，在总体数量上按一定比例掺入假量，鱼龙混杂，提高假量发现的难度。

例如，每100个真实量中掺入5个假量。另外还在时间维度上神出鬼没，当月在渠道包A掺假，下个月再换到渠道包B，如果被发现，就用渠道不稳定来搪塞。

归因分析能够帮助企业识别新增用户源自哪个渠道，但当渠道投放预算充足，相关指标满足KPI时，渠道运营人员往往容易忽视渠道中的虚假流量。对于这些真假参半的异常渠道，若不去追溯每个渠道的流量质量，就是纵容虚假流量对渠道投放的长期影响，影响渠道获客的健康发展。在上面的实例中，正是因为在渠道包维度追踪了数据，才最终识别出了假量。

案例二：利用某些低端机型刷量

在一次关于各渠道新增用户机型分布的专题分析中，我发现某几个渠道的机型分布十分异常：理论上来说，不同渠道覆盖不同用户群，用户的机型分布也会有一定的区别。比如华为应用商店渠道的用户，绝大多数机型会是华为手机。排除这类手机厂商自带的应用商店，在正常情况下，Android新增用户的机型分布应该呈现多元化，并且华米OV四大手机品牌应该占据着相对较大的比重。但笔者发现某几个渠道新增用户的机型分布中，高居榜首的却是一两个不甚知名的手机品牌的低端机型，且占比高达10%-20%（如下图）。

在深入分析这些渠道的新增用户的启动次数、使用时长、留存率、付费转化等行为数据后，我发现启动次数基本为1，使用时长不足10秒，7日后的留存率为0，付费率为0，此时基本可以确定为利用机型刷量。

由于广告投放过程中，渠道服务商存在各级代理，流量获取不透明，让可供作弊的灰色区域越来越多，看似正常的广告投放留存，其实隐藏着虚假流量的危机。

以上两个案例均为CPA、CPD付费形式的常用作弊手段——采用各种手段刷下载、激活及留存，虽然作弊成本相对较高，但也较难屏蔽。

除此之外，还有CPM、CPC付费形式下的刷曝光和点击CPS付费形式下刷订单等作弊手段。总之，每种广告都有对应的付费形式，每种付费形式都有虚假流量利益的诉求点。

虽然渠道假量识别一直是增长负责人和渠道推广人员的痛点，但他们很难有足够的精力去一一核对细分渠道的详细数据。即便能够一一核对，也会耗费大量的时间，待查出问题时，损失可能已经造成。那么，是否可以建立一种机制，精准的识别渠道假量并自动报警，及时提醒相关人员呢？

二、解决方案

渠道投放全流程数据监控

无论从哪个维度入手去识别异常渠道和虚假流量，都需要将广告曝光点击数据、用户属性数据和用户行为数据通过一定的数据采集手段，进行关联、整合、聚类，从而获取完整、全面和准确的基础数据，并据此实现用户数据的跟踪和分析。

有了完整全面的数据，一方面，我们可以根据渠道的属性从不同的突破点去寻找虚假流量的踪迹；另一方面，通过分析和保留一个虚假流量完整环节的数据，可以建立支撑虚假流量强有力的证据。

广告投放全流程数据主要可分为三类：

广告投放数据：广告曝光量、广告点击量；用户基本属性数据：新增用户的激活时段分布、地域分布、设备终端分布、网络及运营商分布、App版本分布；

用户行为数据：新增用户的留存情况、App启动次数、App使用时长、业务转化情况（如播放时长、付费行为）。

渠道反作弊评估体系

数据本身并不说明问题，对数据的解读才能说明问题。也就是说，数据只是未经加工的原始素材，表示的是客观事物，须经过加工处理，形成逻辑后方能称为信息；对大量的信息再进行总结归纳，将其体系化，便形成了知识，指导实践。

实现对渠道投放全流程的数据监控后，接下来便是通过这些数据来识别异常渠道和虚假流量，即建立渠道反作弊评估体系，具体包括：

三、实施步骤

在渠道反作弊实施步骤中，新渠道开通后，首先必须经过渠道管理系统，成功录入渠道包和账户-渠道匹配关系后，方能进入渠道反作弊评估体系；在获取相关数据后，设定异常渠道的监测指标，并根据历史样本数据训练阈值，对于小于阈值的疑似异常渠道自动报警，实现“信息即时到达”，同时在报表中展现渠道详情，指导渠道优化。

（图：异常渠道监测流程）

1. 渠道管理系统

渠道管理系统是渠道反作弊流程中必要的前期准备工作，主要包含渠道包管理和账户-渠道匹配管理。

渠道包管理：渠道运营人员在渠道投放前，需要为每一个渠道打好UTM标记，称作渠道包，通过渠道归因来识别新增用户的渠道来源，同时，将这些渠道包按照各种维度做好分类，为后续统计各维度的渠道数据做好准备；

账户-渠道匹配管理：渠道运营人员需要将渠道投放数据后台的账户/计划与App转化数据中的渠道做好匹配关系，旨在实现渠道投放后台数据与App用户转化数据的连续性。

2. 获取相关数据

U-AppAI版用户渠道维度数据的多样性，如新增用户的激活时段分布、地域分布、设备终端分布、App版本分布等用户基本属性数据，新增用户的留存情况、App启动次数、App使用时长等用户行为数据，为渠道反作弊体系通过提供了数据基础；对外开放的API接口，为获取相关数据提供了极大的便利；数据的准实时性，为后续自动报警，实现精细化且高效的风控提供了可能。

3. 设定异常渠道的监测指标和阈值

根据各个渠道类型的属性，设定各类渠道的异常渠道监测指标；同时，以历史上的相关指标数据为样本，训练并设定阈值，当指标超出阈值，即认定为疑似异常渠道。本文仅以留存指标为例：

准备数据：选取历史上所有激活量大于100的渠道包，并准备好这些渠道包的新增量以及1/3/7/14/30日留存率。

确定指标：留存率指标：1/3/7/14/30日留存率；周同比留存率波动：1/3/7/14/30日留存率较同一渠道上周同一天的下降幅度。

设定阈值：计算出历史样本数据中周留存指标和周同比留存率波动指标的十分位数，如下表：

按照以上90%以内的标准，并结合实际业务情况，将监测指标的阈值调整如下：

即以上留存监测指标中，某一渠道（激活量大于100）的实际值小于阈值，便定义为疑似异常渠道。

4. 自动报警机器人

公司采用钉钉为内部通讯、协同工具，钉钉群机器人是钉钉群的高级扩展功能，可以将第三方服务的信息聚合到群聊中，实现自动化的信息同步。

根据异常渠道监测指标的阈值，将疑似异常渠道的信息同步到钉钉群中，自动报警，以及时提醒渠道运营人员。

5.报表可视化展现详情，指导优化

将历史上所有的疑似异常渠道通过Tableau可视化工具更为直观详细的展示出来，包括各类相关的数据指标，指导渠道运营人员及时调整渠道投放，同时作为与媒体或广告代理商谈判强有力的证据，相应采取要求补量或拒绝付款等应对措施。

6. 总结

面对层出不穷的异常渠道和虚假流量，渠道获客从业者其实大可不必惊慌，通过上面的一系列实例和解决方案，我们发现：

异常渠道和虚假流量并非无迹可寻，只要数据化和在线化，就一定能够追溯；

其次，我们发现借助强有力的工具进行深度的数据分析，是识别异常渠道和虚假流量最直接、最可靠的方式，并且在日益复杂的媒体环境下，这一方式将发挥越来越重要的作用。

四、经验总结

利用数据工具实现强有力支撑。基于对数据分析工具的熟练应用以及监测执行经验，我认为App广告主应该积极与能够实现多维数据分析的平台进行合作，节省大量的基础数据采集处理时间，也更容易实现指标体系的迭代延拓。

结合对行业的理解与实践，建立健全及时的渠道评估体系。渠道反作弊评估体系、识别渠道真量、渠道质量评估体系，分别对应着新增、活跃、收益这三个目标，而企业在不同的发展阶段，会有不同的目标侧重点，或关注渠道有效性评估体系以追求用户规模，或关注渠道留存评估体系以强调用户活跃，或关注渠道ROI评估体系以提升用户收益，渠道获客从业者需要根据企业发展阶段灵活处理。

本文为「人人都是产品经理」和友盟+联合举办的“2019「友盟杯」数据分析大赛”中获奖作品。