手机端SEO工具：一次全站扫描被中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /78d7cfddcc5f.html
📄
手机端SEO工具：一次全站扫描被中断后怎样判断已覆盖范围
先看中断前工具是否留下了可核对的进度记录：如果扫描日志、已抓取URL数或分页游标保留在本地或账号里，就能按记录推算覆盖边界；如果只剩一个百分比或一句“已扫描若干页面”，覆盖率基本不可判断，只能重跑或改用分批扫描。下面按这两种条件分别说明判断方法和适用边界。
条件一：有可读的进度记录，按“断点+队列”倒推覆盖范围
多数手机端SEO工具在扫描过程中会维护一个待抓取队列和一个已完成列表。中断后先确认这两份数据是否落盘：日志里能否看到最后处理的URL、时间戳和状态码，队列文件是否记录了尚未抓取的地址。能读到这些，就不需要凭感觉估算。
具体动作是取中断前最后若干条已完成记录，与站点地图或站内链接清单做差集。差集里那些出现在站点地图、但不在已完成列表中的URL，就是未覆盖部分；反过来，已完成列表里有而站点地图没有的URL，说明工具是通过站内链接发现的，判断覆盖范围时不能只看站点地图。
这里有一个容易踩的边界：样本阶段只测了首页加两三个栏目页，链接路径短、发现率高，看起来覆盖很完整；一旦放大到带分页、筛选参数和大量标签页的移动端站点，同样的抓取深度设置会漏掉深层页面。所以差集核对必须用真实的全量URL来源，而不是用之前的小样本清单。
核对完成后，下一步动作是把差集按目录或模板归类。如果未覆盖的URL集中在某一类模板（例如商品筛选页），说明中断点恰好落在该模板的抓取队列上，续扫时优先处理这一类即可；如果差集零散分布，说明队列本身不完整，续扫前要先补齐URL来源。
条件二：没有可读记录，只能重跑或改分批策略
如果工具中断后只留下一个百分比、没有URL级记录，那么覆盖范围无法反推。百分比通常按“已发现URL数”计算，而“已发现”本身依赖抓取过程中的链接发现，中断越早，分母越小，百分比反而可能偏高。这种情况下不要把百分比当作覆盖率。
可行的替代方案是改成分批扫描：按目录、按站点地图分段或按URL数量切片，每批独立完成并单独保存结果。分批的代价是配置和合并成本上升，好处是任何一批中断都只影响该批，覆盖范围始终等于已完成批次之和，判断变得确定。
选择依据可以简化成一条：能否拿到URL级进度记录。能拿到，就续扫并核对差集；拿不到，就放弃单次全站扫描，改分批。不要试图用“已扫描页面数除以站点地图总数”来估算，因为两者统计口径不同，一个按发现顺序、一个按提交清单，相除得到的比例没有实际含义。
中断本身不等于漏抓，先排除几类合理解释
扫描中断后出现抓取量下降或某类URL为零，不能直接判定为漏抓。常见解释至少有三类：一是工具触发了目标站点的访问频率限制，请求被拒绝而非未发出；二是移动端页面依赖JavaScript渲染，中断后渲染队列未执行，导致部分URL被记为已完成但内容为空；三是网络切换或后台进程被系统回收，队列状态停留在中断前一刻。
区分方法是看已完成记录里的状态码和响应体大小。状态码为429或403的URL应视为未成功覆盖，需要重试；状态码正常但响应体明显偏小的移动端页面，应检查是否走了渲染路径；只有状态码正常、内容完整、且出现在已完成列表中的URL，才算真正覆盖。
这一步的结果直接决定下一步：如果大量URL是频率限制导致的失败，续扫前要调低并发或增加间隔，否则重跑仍会在同一位置中断；如果是渲染缺失，要先确认工具在移动端是否启用了渲染，再决定重扫范围。
续扫之后，用一份可复核的清单确认覆盖边界
无论走哪条路径，最终都应产出一份可复核的覆盖清单，至少包含：URL、是否在站点地图中、最后处理时间、状态码、内容长度是否达到该模板的正常水平。这份清单的作用不是追求100%覆盖，而是让“哪些没覆盖、为什么没覆盖”变成可查的事实。
假设一个场景：某移动端站点有约2000个可索引URL，扫描在1400条左右中断，日志保留了已完成列表。用站点地图做差集后发现未覆盖的600条里有500条集中在带参数的筛选页。此时合理的续扫范围是这500条筛选页加剩余100条，而不是整站重跑。这个数字只是说明比较方法的假设，不代表任何真实站点的规模。
如果差集显示未覆盖URL分散且无法归类，说明URL发现机制在中断时已经不完整，续扫意义有限，应转为分批扫描并重新建立URL来源。判断覆盖范围的核心始终是：有没有URL级证据，以及这些证据能否和独立的URL清单对上。对没有提供现状依据的具体工具，其日志字段、队列保存方式和渲染设置需要以实际版本为准，不能照搬通用描述。
