如何检查网站死链：怎样识别配置互相冲突

📍 WDQWDWQD987AAAAA:216.73.216.28
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /78d7ec29a6d1.html
📄

如何检查网站死链：怎样识别配置互相冲突

识别死链检查中的配置冲突，核心是找出“同一批链接被两套规则同时管理、且结论相反”的地方。最常见的冲突发生在robots.txt、站点地图、内链和重定向之间：一边允许抓取，另一边又屏蔽；一边提交收录，另一边又跳转或返回404。时间和人手有限时，先查这几处交叉点，比逐个点开链接更快。

先查robots.txt与站点地图是否互相矛盾

要查什么：站点地图中提交的URL，是否被robots.txt的Disallow规则挡住。

怎么查：打开站点地图，抽取若干条URL；再打开robots.txt，逐条对照Disallow路径。假设站点地图包含/product/a，而robots.txt写了Disallow: /product/，两者就冲突。

结果说明什么：被Disallow的URL仍可能出现在站点地图里，但抓取会被限制，收录自然不稳定。这不是死链本身，却会让检查结果失真——你以为链接有效，搜索引擎却拿不到。注意，robots.txt的抓取限制不等于可靠的索引移除，它只是抓取层面的约束。

再查内链指向与重定向链是否打架

要查什么：页面上的内链，是否指向一个又跳转到别处的URL，甚至跳到404。

怎么查：用浏览器开发者工具或抓取工具查看状态码。重点看三类：301、302、404。如果一个内链先301到B，B又302到C，C返回404，这就是典型的重定向链冲突。

结果说明什么：重定向链越长，抓取预算消耗越大，最终落点若是404，这条内链就是实际死链。判断标准很简单：最终状态码是200才算可用；最终是404或410，就要改内链或恢复目标页。HTTPS不保证安全无漏洞或排名，它和死链判断是两件事，不要混在一起看。

核对大小写、斜杠与参数版本是否被当成不同链接

要查什么：同一内容是否存在多个URL版本，且各自返回不同状态。

怎么查：分别访问带斜杠和不带斜杠、大写和小写、带参数和不带参数的版本。例如/Page/A与/page/a，看是否一个200、一个404。

结果说明什么：如果服务器区分大小写，而内链写法不统一，就会出现“看起来是同一个页面，实际一半是死链”。这类冲突在时间和人手有限时优先修：统一内链写法，或让服务器把变体301到规范版本。

用一份可执行清单安排处理顺序

  1. 查robots.txt与站点地图交叉：抽取站点地图URL对照Disallow。冲突则先改规则或移除提交。
  2. 查内链最终状态码：记录每条内链的最终落点。404或410优先修，重定向链超过两跳的排其后。
  3. 查URL变体：对比大小写、斜杠、参数版本。状态不一致就统一或重定向。
  4. 查站点地图自身：站点地图里的URL是否都能返回200。不能的移出或修复。站点地图不保证收录，它只是提交线索。
  5. 查不同搜索引擎的反馈：不同搜索引擎支持情况须分别核查，不要用一家的结果推断另一家。

判断优先级时，用“影响面×修复成本”排序：影响大量内链的规则冲突先修，单条链接后修。每修完一项，重新抓取同一批URL验证状态码是否变化，避免改了一处又引入新冲突。

下一步：从站点地图中随机抽20条URL，逐条记录robots.txt状态、最终状态码和URL变体，先找出同时命中两项以上冲突的链接，这些就是最该先处理的。

图1 图2
nginx