搜索引擎收录检查 - 先查前后环节依赖，再排处理顺序
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /59648d8eb833.html
📄
搜索引擎收录检查 - 先查前后环节依赖，再排处理顺序
搜索引擎收录检查不能只看“有没有被收录”这一个结果。收录是链条末端的结果，前面至少依赖三层：页面能被抓取、内容能被解析、页面值得进入索引。时间人手有限时，先查依赖，再决定修哪一环，能避免把工时花在下游症状上。
先画出一条最小依赖链
把单页收录拆成顺序依赖：URL 可发现 → 抓取不被拦 → 返回正常内容 → 可索引 → 进入索引。前一项不成立，后一项就不用查。检查时从链条最左端开始，发现断点就停，不要跳着看排名或流量。
可执行检查清单
下面每项都给出查什么、怎么查、结果说明什么。按顺序执行，遇到失败项先记录再继续，不要中途改配置。
1. 可发现性
查什么：目标 URL 是否出现在站内链接、站点地图或提交记录中。怎么查：站内搜索该 URL 路径，检查是否有至少一个可抓取的入口链接指向它；查看站点地图文件是否包含该 URL。结果说明：若没有任何入口，抓取程序可能根本不知道这个页面存在，后面所有检查都无意义。注意站点地图只是发现渠道之一，提交了也不保证被抓取或收录。
2. 抓取许可
查什么：robots.txt 是否允许抓取该路径。怎么查：打开站点根目录的 robots.txt，逐条比对 Disallow 规则与目标路径，注意通配符和目录前缀的匹配关系。结果说明：若被禁止抓取，页面通常无法进入索引。要特别区分：robots.txt 限制抓取，不等于可靠的索引移除手段；即使禁止抓取，已收录 URL 仍可能因外部链接等原因留在索引中，移除索引应使用对应的移除工具或页面级 noindex。
3. 抓取返回状态
查什么：服务器返回的 HTTP 状态码与最终 URL。怎么查：用抓取工具或命令行请求该 URL，观察是否 200、是否发生 3xx 跳转、是否返回 4xx/5xx。结果说明：200 表示可继续；3xx 要确认跳转终点是否为目标页；4xx/5xx 说明抓取环节已失败，应先修服务器或链接，而不是修内容。
4. 可索引信号
查什么：页面是否带有阻止索引的指令。怎么查：查看 HTML 头部是否有 <meta name="robots" content="noindex">，以及响应头中是否有 X-Robots-Tag: noindex。结果说明：存在 noindex 时，页面即使被抓取也不会进入索引。若同时存在 noindex 与 canonical 指向别处，以 noindex 为准，此时改 canonical 无意义。
5. 内容可解析性
查什么：正文是否由服务端返回，还是依赖客户端脚本渲染。怎么查：禁用 JavaScript 后再请求一次，对比返回的 HTML 中是否包含核心正文与链接。结果说明：若禁用脚本后正文为空，抓取程序可能只看到空壳。此时要确认目标搜索引擎是否执行脚本，以及渲染后的内容是否稳定；不同搜索引擎对脚本渲染的支持程度不同，需要分别核查，不能一概而论。
6. 规范与重复
查什么：canonical 指向是否与自身一致，是否存在多个可访问的重复 URL。怎么查：查看页面 canonical 标签，并用带参数、带尾斜杠、http/https 等变体分别请求，观察是否都指向同一规范 URL。结果说明：canonical 指向其他页面时，当前 URL 可能被合并；多个变体各自可访问且互相不指向，会分散索引信号。
依赖判断与处理顺序
把上面结果按依赖顺序排列：抓取许可失败，先修 robots；状态码失败，先修服务器；noindex 存在，先确认是否有意为之；脚本渲染失败，再评估是否改为服务端输出。只有前四项都通过，才值得花时间检查内容质量与内链。若链条全部通过但仍未收录，属于索引环节的判断问题，此时应检查内容是否与已有页面高度重复、是否长期无外部引用，而不是回头改 robots。
一个假设例子
假设某产品页未被收录。检查发现 robots.txt 未拦截、状态码 200、无 noindex，但禁用 JavaScript 后正文为空。这说明依赖断点在渲染环节，而不是抓取许可。此时优先处理渲染，而不是先做内链优化。若该页在禁用脚本后仍有正文，则断点可能在后端索引判断，需要换一个方向排查。
下一步：挑一个未收录 URL，按上面六项依次记录结果，标出第一个失败项。只修这一项，等下一次抓取后再复查同一 URL，观察结果是否前移。
