安排最小修复试验的核心思路是:先通过同服务器网站查询确认哪些站共享同一IP或同一台主机,再只改动一个变量,观察改动前后目标页面的抓取、返回码或内容是否变化。不要同时改robots.txt、改链接、换模板,否则无法判断是哪一步起了作用。最小试验的目标不是一次修好,而是用最低成本排除一个可能原因。
同服务器网站查询能得到的直接信息是IP归属和主机共用关系。第一步不是动手改,而是记录观察项:
curl -I逐个查看。如果同服务器多个站同时异常,问题可能出在主机层;如果只有目标站异常,问题更可能在站点自身配置。这个区分决定了试验从哪一层开始。
同服务器网站查询常见的异常来源有几类,但不要一次全查:
判断依据是现象而非猜测。例如抓取工具返回403,就先怀疑访问控制;返回200但内容为空,就先怀疑模板或数据库。已经定位的原因应能复现,未复现的只能算可能原因。
最小修复试验的写法是固定其他条件,只动一项。可执行的步骤:
假设例子:某站首页返回200,但目标栏目页返回403。可以先只调整该目录的访问规则,不改全站配置。如果403消失,说明访问控制是原因之一;如果仍为403,则访问控制不是唯一原因,需要继续查服务器日志。这里判断结果的标准是状态码是否变化,而不是排名是否立刻变化。
复查要覆盖三点:
如果复查通过,把临时改动固化为正式配置;如果不通过,回滚到试验前状态,重新回到观察阶段。不同搜索引擎对同一配置的支持情况须分别核查,不能用一个引擎的结果推断另一个。
现在就可以做一件事:打开同服务器网站查询结果,列出同IP下的所有站点,选一个异常最明显的URL,按上面的四步做一次只改一个变量的试验,并记录改动前后的返回码。这份记录会成为判断下一个假设的依据。