出海SEO实战:给网站做一套死链巡检,自动跑
对一个靠 SEO 吃流量的站来说,死链是慢性病。

对一个靠 SEO 吃流量的站来说,死链是慢性病。
用户点击发现 404 会直接走人,Google 抓到一堆指向 404 的出站链接,也不会给你好印象。麻烦的是它不会报警,自己要是没有发现,就一直在那儿。
发现死链先手动处理掉止血。省心的做法是写个脚本定期跑,把库里的 URL 挨个请求一遍,明确死掉的自动下线,再发个飞书告警。
总结了几条,做类似的事可以直接参考。
别把"反爬"当成"死"
很多正常站点会拦爬虫。
你用脚本去请求,像 GPT、Grafana 这类站会返回 403,有的干脆超时。要是把这些都当死链下线,一批好好的站就被误杀了。
判定要保守。只有 HTTP 404、410,或者跟着重定向落到明确的 404 页,才下线。403、429、超时、5xx 这些只标成"可疑",记录下来人工再看,不自动处理。
拿不准的时候宁可放过。
死链巡检判定逻辑:404/410 下线,403 和超时只记为可疑,活的回写检查时间滚动轮查
别每天全量扫
最顺手的写法是每晚把全部链接扫一遍。能跑,但浪费。大部分链接是稳定的,天天扫没必要。
建议是滚动复查:给每条链接记一个"上次检查时间",每次只挑最久没查的,加上从没查过的新链接,分摊到几天轮完一遍。
负载能降一大截,而新进来的内容因为没有检查记录会排在最前面优先扫,新内容恰恰最容易混进坏链接。
死链发现从"当天"放宽到"几天内",对 SEO 和体验都够用。