改版或迁移时,死链检测应核对的是:旧地址在改版后是否仍返回有效内容、是否被正确重定向到最相关的新地址、以及是否已从站内链接和站点地图中清理。核心判断标准是“旧URL对用户和搜索引擎是否还有可用出口”,而不是只看服务器是否返回200。若旧页面仍有搜索流量或外链,优先做301重定向;若旧页面已无价值且无外链,可返回410并清理入口。下面按观察、判断、处理、复查展开。
不要凭印象判断死链。改版上线后,用爬虫工具或命令行对旧URL清单逐条请求,记录状态码、最终跳转地址和响应内容。重点区分四类结果:
把旧站URL清单导出后逐条核对,是改版迁移中最实际的起点。清单来源包括旧站点地图、旧站内链接抓取结果、服务器访问日志中仍有请求的地址。
不是所有旧地址都值得重定向。判断依据是旧地址是否仍有价值,可用三项检查:
这里要区分两种处理方案:重定向方案适用于旧页有流量、有外链、有新对应内容;移除方案适用于旧页无流量、无外链、内容已彻底废弃。若旧页有流量但新站没有对应内容,应新建一个承接页再重定向,而不是把流量引到首页。
重定向应做到一对一,把旧地址指向内容最相关的新地址,避免全站跳首页。批量重定向规则要检查是否产生链式跳转(A→B→C)或循环跳转,这两种情况都会削弱效果。重定向完成后,旧地址应返回301,最终地址返回200。
移除方案中,404和410都表示内容不可用。410语义更明确,但并非所有搜索引擎处理方式完全一致,需分别核查。若使用robots.txt限制抓取,要注意它只阻止爬虫访问,不等于把已收录页面从索引中移除;要移除索引,应让页面返回404/410或使用noindex,并确保爬虫能抓到该页面。站点地图只帮助发现URL,不保证收录,因此清理站点地图是辅助动作,不是移除索引的手段。
处理完成后,按以下清单复查:
复查周期可设为改版上线后第1周、第4周各一次。若旧URL请求量持续下降且错误状态稳定,说明迁移处理基本到位;若仍有大量404且这些地址有外链,应补充重定向。
导出旧站URL清单,逐条标注“有外链/有流量/有新对应页”,据此决定301、404还是410,然后在上线后第一周用爬虫复查状态码和跳转链。若你正在比较“全部重定向到首页”与“逐条重定向到相关新页”,优先选后者,因为前者会让用户和搜索引擎都难以判断旧页面的真实替代内容。