先把“未被发现”与“被发现但未收录”分开,再按可观测差异划分对照组。如果差异集中在模板或链接入口,选“同模板对照”;如果差异分散,选“同层级对照”。这样做的目的不是立刻提升收录,而是把下一步动作锁定在一个可验证的遗漏条件上。
批量提交站点地图后只出现一部分页面,常见解释有几种:抓取预算被其他目录占用、页面入口太深、模板输出内容高度重复、服务器对部分路径返回异常,或者站点地图中的地址与实际可访问地址不一致。它们指向的动作完全不同。
判断依据可以这样取:从站点地图中随机抽一批未出现页面,再用站内链接、日志或抓取工具确认它们是否被访问过。若从未被访问,优先怀疑入口和抓取路径;若被访问但未进入索引,优先检查内容差异和页面状态。这个区分会直接决定对照组怎么划。
当未出现页面大多来自同一模板、同一栏目或同一批参数地址,而其他模板正常时,最省事的做法是选同模板对照。它把变量压到最少,适合先排除模板层问题。
实施动作:从同一模板中选两组页面,一组已出现、一组未出现,保持栏目、层级和发布时间尽量接近。逐项比对标题、正文主体、结构化数据、内链数量、 canonical 指向和返回状态。若两组只差一个字段,就把这个字段作为下一轮唯一改动项。
结果如何影响下一步:如果同模板内两组没有可观测差异,说明问题更可能在入口或抓取路径,应转向同层级对照;如果差异明确,就先在该模板内小范围修正,再观察同模板其他页面是否跟着变化。
当未出现页面散落在多个模板、多个栏目,且没有共同字段时,同模板对照会失真。此时应按链接深度或目录层级划分对照组,因为入口深度往往比模板本身更能解释“只被发现一部分”。
实施动作:把页面按距首页点击次数分层,例如一层、二层、三层以上各取一组,记录每层被站内链接指向的次数、是否出现在栏目列表、是否只靠站点地图暴露。然后只对其中一层增加入口链接,其他层保持不动。
结果如何影响下一步:如果增加入口的那一层出现比例变化,而其他层不变,可把入口不足当作优先遗漏条件;如果各层都没有变化,就不要继续加内链,转而检查服务器对部分路径的响应和站点地图地址一致性。
这三个变量不固定,对照组就会同时改变多个条件,后续无论出现什么结果都无法归因。固定变量本身就是一个实际动作,它决定了你能否把观察结果转成下一步动作。
如果未出现页面在服务器日志中从未被访问,且站点地图地址与可访问地址不一致,应先修地址,而不是扩对照组。如果页面本身返回错误状态或需要登录才能看到主体内容,也应先处理可访问性。robots.txt 的抓取限制不等于可靠的索引移除,站点地图也不保证收录;这两点只能作为排查线索,不能当作结论。
另外,若你同时改动模板、入口和地址,即使之后出现比例变化,也无法判断是哪一项起作用。此时应回退到只保留一个改动项,再重新划分对照组。HTTPS 不保证安全无漏洞或排名,因此它不适合作为本问题的对照变量。
假设某站有 300 个商品页,站点地图提交后只有 80 个出现。按模板划分后发现,未出现页面集中在同一个列表模板,且该模板页面都只靠站点地图暴露、没有栏目入口。此时选同模板对照:取 20 个已出现和 20 个未出现页面,比对后发现未出现组缺少站内链接入口。下一步只给其中 10 个未出现页面增加栏目入口,另外 10 个不动。若前者出现比例变化而后者不变,可把入口不足列为优先遗漏条件;若两者都不变,则回到同层级对照,检查抓取路径和服务器响应。
这个例子中的数字只用于说明比较方法,不代表任何实际站点结果。真正要保留的是划分逻辑:先分清遗漏类型,再按差异集中程度选择同模板或同层级对照,最后只改一个条件并观察下一步。