先给结论:无法复现时,不要二选一地把旧结论全部保留或全部删除,而要把它降级为“附条件的局部观察”。具体做法是先判断旧实验的样本是否属于同一批页面、同一时间段和同一查询方式,只要其中一项无法确认,就把结论限定为“在特定样本上曾出现过”,并补上无法复现的可能解释,例如快照更新机制变化、页面自身改版、查询时点不同,或当时的观察口径本身就不统一。这样处理的结果是:结论仍可被引用,但引用者必须同时看到它的边界,而不是把它当成普遍规律。
面对无法复现,第一步不是重跑实验,而是判断失败发生在哪一层。两种条件下的选择不同:
判断依据可以很具体:如果还能找到当时的页面清单、查询词和记录日期,属于条件问题;如果只剩一句“当时快照排名靠前”的模糊记忆,属于样本问题。这个区分决定了下一步是补做对照观察,还是直接降级结论。
有限结论不是含糊其辞,而是把结论写成三段结构。以假设例子说明:假设某次观察发现,一批页面在百度快照更新后的一段时间内,搜索结果中的摘要与页面正文更接近,于是当时记为“快照更新有助于摘要一致”。后来换一批页面复现时,部分页面摘要仍与正文不一致。
可以保留的写法是:
这样写的好处是:读者能直接判断这条结论是否适用于自己的页面,而不是被一个无法复现的断言误导。
具体动作是建立一份最小核查表,逐项确认旧实验的可复现程度。每一项都影响下一步:
这个动作的结果会直接决定结论的强度:同一批页面仍能观察到的,可以保留为局部结论;出现明确反例的,必须把反例条件写进边界;连页面清单都找不到的,只能作为历史线索,不能作为判断依据。
个别样本成立、规模化后出现例外,是这类历史观察的常见状态。处理原则是:反例不是用来否定全部结论,而是用来划定边界。例如在假设的观察中,正文直接输出的页面摘要一致性较高,而正文由脚本渲染的页面没有同样表现。此时结论应写成“在正文直接输出的页面上曾观察到该现象”,而不是“快照更新普遍改善摘要”。
同时要说明反例还有哪些合理解释:页面改版、摘要来源不同、观察时点差异、记录口径不一致,都可能造成例外。把这些解释并列写出,比强行给出一个因果判断更可靠,也更符合无法复现时的证据状态。
无法复现旧实验时,能保留的不是“百度快照排名曾经如何如何”的确定断言,而是一组可核查的观察:观察对象、观察时点、观察到的现象、无法确认的部分,以及可能的替代解释。这样处理后,旧材料仍有参考价值,但读者不会被一个无法验证的结论带走。对写作者来说,这比删除全部旧内容更诚实,也比继续沿用旧断言更安全。