网站死链检测怎样形成可复用检查清单：先定方案再固化步骤
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /55179226198c.html
📄
网站死链检测怎样形成可复用检查清单：先定方案再固化步骤
把网站死链检测做成可复用检查清单，核心不是列一堆工具名，而是先固定“检测范围、判定标准、处理方式、复验信号”四件事，再把每次执行结果回写到清单里。这样下次换人、换站点或换时间执行，仍能得到一致结论。下面给出两种常见方案及适用条件。
先比较两种处理方案：全站爬取与按需抽检
方案一：全站爬取。用爬虫从首页出发，顺着站内链接逐层抓取，记录返回状态码、跳转链和超时链接。适用条件：站点规模可控、导航层级清晰、需要一次性摸清存量问题。判断结果：如果返回 404 或 410，说明目标资源已不存在；如果返回 301 或 302 且最终落到无关页面，说明跳转链需要修正。
方案二：按需抽检。只检测指定栏目、指定模板或指定时间窗内新增的链接。适用条件：站点体量大、全量爬取耗时过长，或只想验证某次改版是否引入新问题。判断结果：抽检发现的问题只能说明该范围存在风险，不能直接推断全站状态，需要标注覆盖范围。
两种方案不是互斥关系。可复用清单应写清本次采用哪种方案、覆盖哪些目录、排除哪些参数，避免下次执行时把抽检结果当成全站结论。
清单必须固化的五项检查项
- 入口与范围：写明起始 URL、允许抓取的目录、需要排除的路径。排除项要具体到规则，例如带特定查询参数的筛选页。
- 判定阈值：明确哪些状态码计入死链。一般把 404、410 视为明确失效；把超时、连接失败单独归类，因为它们可能是网络波动而非资源消失。
- 跳转链检查：记录 301、302 的最终落点。如果跳转后落到首页或无关栏目，应作为待修正项，而不是直接算通过。
- 来源定位：每条死链要记录它出现在哪个页面、哪个链接文本或哪个模板中，否则修复时无法定位。
- 复验信号：修复后重新请求原 URL，确认返回 200 或按预期跳转到相关页面，并确认来源页已不再输出旧链接。
一个可执行的短例子
假设某栏目改版后旧文章路径失效，清单可写成：起始 URL 为该栏目列表页；范围限定该栏目及分页；判定 404、410 为死链；抽检 20 个详情页链接。执行后若发现 3 条 404，记录来源页与链接文本，修复后复验这 3 条 URL 是否返回 200，并检查列表页是否仍输出旧路径。这里“20 个”只是假设数量，实际应按站点规模和风险自行设定。
容易混淆的边界与核查方法
robots.txt 的抓取限制不等于可靠的索引移除，它只约束爬虫行为，不能替代对失效资源的处理。站点地图不保证收录，提交站点地图与死链检测是两件事。HTTPS 不保证安全无漏洞或排名，它只是传输层条件之一。不同搜索引擎对状态码和跳转的处理须分别核查，不能用一个平台的结果直接推断另一个平台。若清单涉及具体工具或服务，应单独核对当前功能与可用性，不把历史界面描述成今天仍然可用。
下一步：选一个你负责的栏目，按上述五项检查项写出一版清单，先做一次小范围抽检，把实际遇到的误判和遗漏补进清单，再决定是否扩展到全站爬取。
