规模扩大后最该停止手工做的,不是“所有重复劳动”,而是那些判断标准已经稳定、但执行量随页面数线性增长的环节:批量内链维护、旧内容状态巡检、模板级元信息一致性检查、失效链接与重定向链清理。判断依据不是“手工累不累”,而是这项工作是否已经能写成明确规则。能写成规则的,继续手工做只会把人力消耗在低价值重复上;还不能写成规则的,比如选题判断、旧合作关系是否续约、某篇旧文该保留还是改写,仍然值得人工介入。
一个可操作的区分方法是问三个问题:这项工作的输入是否可枚举,输出是否有唯一正确结果,错误是否容易被程序发现。三个都答“是”,就属于适合退出人工的候选;只要有一个答“否”,就应保留人工环节。
把这三类混在一起,常见的后果是:该自动化的没自动化,该人工判断的却被一张“全站待办清单”淹没,最后两边都没做好。
网站规模扩大后,旧内容会积累成一批需要处理的存量。手工逐篇判断的成本会随数量上升,但完全交给规则又会误伤仍有价值的页面。可行的做法是先用规则缩小范围,再人工做最终取舍。
页面仍有稳定的自然访问,或仍有明确的外部引用、内部导航依赖,且内容主体没有明显过时。这类页面不需要大动,但应纳入定期巡检,确认标题、描述、内链没有因模板或系统变更而失效。保留不等于放任,它对应的是“低频率、规则化检查”,而不是逐篇重写。
页面主题仍然成立,但信息陈旧、结构混乱,或与站内其他页面高度重叠。改写适合那些有历史积累、但需要重新对齐当前用户意图的页面。这里人工判断不可替代:程序能识别“相似度高”,但不能判断哪一篇更值得保留、哪一篇应吸收合并。
页面没有访问、没有外部引用、没有内部入口,且内容已被其他页面完整覆盖。退出的动作不只是删除,还包括处理它留下的链接和重定向。若直接删除而不清理指向它的内链,就会制造新的失效链接,反而增加后续巡检负担。
一个假设例子:某站有 2000 篇旧文,规则筛出 600 篇“零访问且无外链”。人工复核后发现其中 80 篇仍被旧版帮助中心引用。若直接按规则全部退出,这 80 篇会变成新的失效地址;正确顺序是先修引用,再退出。这个例子说明,规则负责缩小范围,人工负责确认依赖关系,顺序错了会把自动化变成新的问题源。
当站点经历改版、栏目合并或系统迁移后,重定向会层层叠加。手工逐条检查在几十条时可行,到几百条以上就难以保证不漏。更关键的是,重定向链的修复有明确规则:指向最终有效地址、避免多跳、避免循环。这类工作适合用规则批量发现,再人工确认少数异常。
实际动作可以这样安排:先导出全站内链和已知重定向,标记出指向 404、指向重定向、以及多跳链的地址;然后按“同一目标地址”分组,批量替换。执行后重新抓取一次,确认失效链接数量下降。如果数量没有下降,先不要断定处理无效,还要排查:新内容是否又引入了旧地址、站点地图是否仍包含已退出页面、以及抓取工具是否受访问限制而漏报。请求量或抓取量归零,不能单独证明清理正确,它也可能只是工具没有覆盖到。
模板级工作有一个共同特征:一处规则影响大量页面,且结果可以逐项验证。例如标题标签是否为空、结构化数据是否缺字段、分页链接是否可抓取。这些检查手工做,规模越大越容易只检查了首页和几个样本,留下长尾问题。
但页面级判断不适合完全退出人工。比如某篇旧文是否值得改写,取决于它对用户是否仍有回答价值、是否与当前业务方向一致。这类判断没有唯一正确答案,程序只能提供候选和证据,不能替代决策。把模板级检查自动化,释放出的人力正好用于页面级取舍,这才是规模扩大后更合理的分工。
三个前提都满足时,把批量内链维护、旧内容巡检、模板一致性检查、重定向清理退出人工,通常是合理的。反之,如果规则仍在变、结果无法验证、异常没有出口,继续手工做反而更稳妥。规模扩大后的取舍不是“尽量自动化”,而是把稳定规则交给流程,把不确定判断留给人,并确保两者之间的交接有明确证据。