企业站收录从 1 页到 217 页,问题出在一行 robots 规则
2026 年 6 月中旬,一个上线半年的企业站被搜索引擎收录的页面只有 1 个。查了两小时,原因在 robots.txt 的第二行:一段从旧模板继承下来的全站禁止抓取规则。
先确认抓取,再谈排名
站点有 63 个页面,产品页 12 个、新闻页 15 个,内容不算少。站长平台显示抓取频次为 0,索引量 1,说明爬虫根本没进来。打开 robots.txt 看到 Disallow: / 这行,问题就清楚了。
这行规则是 2019 年做测试站时留下的,站点改版时把旧文件整份复制过来,没人注意。类似情况在改版迁移里很常见,模板复用把旧配置一起带过来。
改动清单只有四项
第一项删掉全站禁止规则,只保留后台目录的屏蔽。第二项生成并提交站点地图,63 条 URL 逐条核对可访问。第三项修 7 条死链,其中 4 条指向已下线的旧产品页,改为 301 到对应新页。第四项给 12 个产品页补上从栏目页进来的内链。
改动在 6 月 20 日完成,站点地图当天提交。抓取频次在 6 月 26 日开始上升,7 月 10 日索引量到 58 页,8 月中旬到 217 页。217 这个数字包含列表分页与标签页,比原始页面数多,属于正常范围。
收录上来之后才谈内容
收录只是入场券。8 月的核心页访问数据显示,12 个产品页里有 4 个几乎没有展现,标题都写成“产品中心-公司名”,在搜索结果里完全看不出差异。
后续动作是把标题按“核心词加规格或场景”重写,每页描述写清这款产品解决什么问题。这项工作还在进行,预计 9 月底完成 12 页。
可复用的排查顺序
顺序是固定的:robots 规则、站点地图可访问性、死链、内链入口、标题唯一性,最后才是关键词。前三项是技术门槛,不解决的话,后面做多少内容都进不了索引。
顺带提醒一句,站点地图里的 URL 数量要和实际可访问页面一一对应,含 404 的站点地图会让爬虫反复抓空页。相关做法见 SEO 诊断与关键词布局页面。
