先给结论:反证问题不是“再找一个支持当前解释的数据”,而是构造一个“如果该解释成立,就应当出现、且能被站内统计核对”的结果;如果它不出现,这个解释就被削弱。下面用一个矛盾现象、两个解释和一组可核对证据来说明。
假设某段时间内,站内统计显示总访问量明显下降,但注册或下单完成数没有同步下降,甚至略有上升。直觉会认为“流量少却成交多”说明渠道质量变好了。这个结论下得太快,因为至少有两个解释都能产生同样的表面结果。
解释A:低质量流量确实减少了,留下的是更接近目标的人群。解释B:统计口径或采集链路发生了变化,一部分访问没有被记录,但真正完成转化的用户仍然被记录。两者在总访问量曲线上看起来一样,后续动作却完全相反:前者应当继续压缩低质量来源,后者应当先修复统计再谈渠道取舍。
反证问题的构造起点,是把模糊解释改写成带条件的陈述。解释A的条件是:减少的访问主要来自转化率明显偏低的来源;解释B的条件是:减少的访问分散在各来源,且集中在某些页面或某些设备上。
可以这样写:
这两句都给出了“不该看到什么”。反证问题要问的正是:如果这个解释是真的,哪些数据本应出现却没有出现?
第一步动作:把总访问量按来源渠道拆开,分别计算各来源的访问变化和转化变化。结果会直接影响下一步。
第二步动作:在站内统计中对比“访问事件”和“转化事件”的采集情况。若访问记录减少而转化记录正常,并不能单独证明统计链路故障,因为转化用户可能本来就更稳定;但如果同一时间窗口内,访问事件在多个来源同时减少,而转化事件按来源结构保持稳定,统计口径变化的解释就更强。
这里要说明一个适用条件:第三方估算流量、搜索引擎报告和站内统计的口径本来就不同。第三方估算通常依赖抽样和模型,搜索引擎报告只覆盖其自身来源,站内统计则取决于脚本触发和会话定义。三者不一致是常态,不能把任何单一指标的变动直接当成算法或渠道质量的结论。
假设某站某周站内统计显示访问量下降约两成,转化数持平。先不要下结论,而是构造反证问题:如果低质量流量减少,那么低转化来源的访问量降幅应当高于高转化来源;如果统计采集变化,那么同一来源下的访问事件与转化事件应当出现不一致的采集比例。
按来源拆分后,若发现降幅主要集中在两个长期转化率偏低的来源,而高转化来源变化很小,解释A得到支持;此时下一步是核对这两个来源的投放或入口是否调整,而不是立刻改统计代码。若发现各来源降幅接近,且访问事件在多个来源同时减少,而转化事件仍按原结构上报,解释B得到支持;此时下一步是先核对统计脚本和跳转链路,再重新判断渠道质量。
这个例子的数字只用于说明比较方法,不代表任何真实项目结果。关键在于:反证问题必须能指向一个可核对的动作,而动作的结果要能改变下一步的排查方向。
请求量、抓取量或某个事件统计归零,不能单独证明处理正确,也不能单独证明某个解释成立。归零还可能有其他合理解释:采集脚本未触发、过滤规则变化、日志保留周期、权限或环境变更。因此,看到归零时应当先问:还有哪些原因能产生同样的现象?哪一个原因会留下可区分的证据?
构造反证问题的顺序可以固定为:先写下当前解释,再写出“若成立则应当出现”的可核对结果,最后指定一个动作去验证。动作结果与预期不符时,优先削弱原解释,而不是继续寻找支持它的零散数据。