网站抓取规则：迁移后的旧地址没有完全等价目标时怎样选择处理
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c732a3d65afe.html
📄
网站抓取规则：迁移后的旧地址没有完全等价目标时怎样选择处理
先给结论：只有当旧地址与新地址在内容主题、用户意图和可索引状态上基本一致时，才用整站规则把它永久指向新地址；只要存在明显不对等，就应让旧地址保留一个可访问的说明页，或直接返回 404/410，而不是用规则把它硬塞到最接近但不匹配的页面。判断依据不是“有没有新页面”，而是“旧地址承接的意图是否仍被完整满足”。
先判断“不完全等价”属于哪一类
迁移后旧地址没有等价目标，通常分三种情况，处理方式完全不同。
- 主题仍存在，只是路径或命名变了：例如栏目从
/guide/改为/tutorial/，内容主体仍在。这类适合把旧地址指向新栏目或最接近的内容页。 - 主题被拆分或合并：旧页面的内容被拆进多个新页面，或几个旧页面合并成一个新页面。这时单一目标无法承接全部意图，硬指会误导用户和抓取系统。
- 主题已下线，没有替代内容：旧地址对应的服务、产品线或内容类型不再提供。这类不应指向首页或栏目页，而应明确返回 404 或 410。
可操作的区分动作：把旧地址逐条列出，标注它原本承接的查询意图，再去新站找是否存在“意图覆盖度接近 100%”的页面。如果找不到，就归入后两类，而不是勉强选一个最像的页面。
保留说明页、改写目标、直接退出各自的适用前提
三种做法不是按偏好选，而是按前提选。
保留一个可访问的说明页
适用前提：旧地址仍有外部链接或用户直接访问，且新站有相关内容但不在同一层级。此时可以在旧地址保留一个简短页面，说明内容已迁移，并给出一个指向最相关新页面的链接。代价是：这个页面本身要维护，且如果它只是空壳，抓取系统仍可能把它当作低价值页面。动作与结果：如果你为每个旧地址都建说明页，后续需要逐页检查它是否仍指向有效目标；一旦目标再次变动，说明页会变成新的失效链，下一步必须重新核对。
把旧地址改写指向一个非完全等价目标
适用前提：新旧页面主题同属一个较窄的类别，且用户到达新页面后能继续完成原任务。例如旧地址是某型号的说明书页，新地址是该系列的总览页，用户仍能找到该型号入口。代价是：如果新页面只是泛泛的栏目页，用户需要再点一次才能到达目标，跳出率可能上升，抓取系统也可能认为该指向关系不自然。动作与结果：先选一小批旧地址做指向测试，观察这些地址带来的访问是否在新页面继续深入；如果没有继续行为，说明目标不够等价，应退回说明页或 404。
直接返回 404 或 410
适用前提：旧地址对应的内容已彻底不存在，且没有可承接的替代页面。404 表示未找到，410 表示已永久移除。两者都不等于“从索引中立刻消失”，robots.txt 的抓取限制也不等于可靠的索引移除。代价是：原有外部链接带来的价值会丢失，用户直接访问会看到错误页。动作与结果：对确认无替代的旧地址统一返回 404/410，并在站点地图中移除这些地址；下一步是观察服务器日志中这些地址的请求是否下降，但请求归零不能单独证明处理正确，也可能是外部链接自然衰减或抓取预算转移所致。
用一组可核对的证据决定，而不是凭感觉
面对一批旧地址，可以按下面顺序收集证据，再决定保留、改写还是退出。
- 旧地址是否还有站外链接或站内入口？有链接的地址优先考虑说明页或改写，完全没有入口的可以更快退出。
- 新站是否存在意图覆盖度接近的页面？覆盖度看的是用户能否在同一页面完成原任务，不是标题是否相似。
- 改写后的目标页面是否可索引、是否返回 200？如果目标本身被 robots.txt 限制抓取或被 noindex 标记，改写就没有意义。
- 旧地址是否属于同一批模式？例如同一批产品页全部下线。批量处理前先抽样确认每一条的前提是否一致，不要因为路径相似就套用同一规则。
假设一个例子：某站迁移后，旧地址 /old-service-a/ 对应的服务已停止，但新站有一个 /services/ 总览页。如果把旧地址指向总览页，用户到达后仍需自行寻找，且总览页并不承接“服务 A”的具体意图，这种指向就不满足等价前提。更合适的做法是让旧地址返回 410，并在总览页中不保留该服务的入口。这个例子的数字和路径仅用于说明判断方法，不代表任何真实站点数据。
执行后怎样确认选择没有扩大问题
无论选择哪种处理，都要为下一步留下可核对的信号。改写指向的地址，应确认目标页面返回 200 且未被 robots.txt 阻止抓取；保留说明页的地址，应确认说明页本身可访问且链接有效；返回 404/410 的地址，应确认站点地图和站内导航中不再出现它们。站点地图不保证收录，提交它只是告知，不是移除或替换的保证。不同搜索引擎对 410 与 404 的处理节奏、对说明页的识别方式可能不同，需要分别核查，不能用一个引擎的表现推断另一个。
最后，把“旧地址是否还有等价目标”作为唯一分界线：有等价目标才改写，没有等价目标但有承接价值就保留说明页，两者都不成立就退出。按这条线处理，旧地址不会把用户和抓取系统引向错误页面，后续核对也有明确对象。
