当站点从几十个页面扩到几千个页面,手工逐条提交会同时拖慢发布节奏、掩盖真实问题。更合理的做法是:把提交动作按“页面是否成批产生、是否稳定可验证”分成两类,能批量的交给接口或站点地图,必须手工的只保留少量高价值、需要人工判断的入口。下面用一个假设情境把决策过程走一遍。
假设某站点原有 200 个页面,现在扩到 3000 个,其中 800 个是旧活动页和旧栏目页,计划下线;另外新增了商品页、帮助文档页和标签聚合页三类。运营者此前一直用搜索资源平台的手工提交逐条推送 URL,现在发现每天新增和变动的 URL 已经超过手工能处理的数量。
这个情境的关键不是“手工太慢”,而是手工提交把两类完全不同的事情混在了一起:一类是批量产生、结构一致的页面;另一类是数量少、但需要人判断是否值得让搜索引擎优先处理的重点页面。规模扩大后,前者必须转成批量方式,后者才值得保留人工。
决定一项提交工作是否继续手工,可以看三个条件是否同时成立:
三条都成立时,手工提交属于重复劳动,应改为站点地图或批量推送;只要有一条不成立,比如页面需要人工挑选、或提交后无法验证,就保留手工或改为按批次抽检。
旧栏目下线时,容易犯的错是继续手工逐条提交这些 URL,希望它们“尽快消失”。但页面退出和页面新增是两件事:下线页面应先确认返回状态码和跳转目标,再决定是否需要提交变更,而不是把旧 URL 当作新内容推送。假设那 800 个旧页面中有 300 个仍有外部链接和访问价值,正确动作是保留并改版,而不是一并删除;剩下 500 个确认无价值的,才进入退出流程。这个判断必须人工做,因为批量脚本无法判断“还有没有价值”。
以下工作在新规模下继续手工做,收益很低:
批量化的前提是 URL 规则稳定。如果站点改版导致 URL 结构变化,先修规则再谈提交,否则批量推送只会放大错误。
规模扩大后仍然值得手工处理的,通常只有几类:
实际动作可以这样安排:先给现有 URL 做一次分类清单,标出“批量产生”“人工精选”“待退出”三类;然后只对“人工精选”保留手工提交,其余交给站点地图和批量流程。做完这一步,下一步的验证才有意义——如果提交量上升但索引量没有同步变化,需要先检查页面本身是否可抓取、内容是否重复,而不是继续加大提交频率。
批量提交后,提交量、抓取量或索引量出现波动,都不足以单独说明操作对了或错了。抓取、索引、排名是不同环节:提交只影响发现阶段,页面是否被索引还取决于内容质量、重复度和站点整体可抓取性。合理的验证方式是固定一批样本 URL,记录它们从提交到被抓取、被索引的时间,再和手工时期的样本对比。如果样本没有改善,问题可能不在提交方式,而在页面本身或站点结构。
回到假设情境:那 3000 个页面里,真正需要人工逐条提交的可能不到 100 个,其余都应交给批量流程;而 800 个旧页面的去留判断,才是这个阶段最该花人力的地方。