技术底座五项：robots、sitemap、canonical、hreflang、301

先说结论：五项底座，顺序不能乱

技术底座只有五项：robots.txt、XML Sitemap、canonical、hreflang、改版 301。它们不产生流量，但任何一项出事，上面所有内容投入都会打折甚至归零。

审计顺序也是固定的：Technical、Onpage、Content、Backlink。P0 级故障没清完，不投内容——这是我这几年最不肯让步的一条纪律。

原因不复杂。内容是被读到才有价值的东西，robots 一行配置写错，几十篇稿子对搜索引擎和答案引擎来说压根不存在。

robots.txt：AI 爬虫被 403，是最贵的一行配置

robots.txt 决定谁能抓你的站。现在它比前几年更关键，因为除了搜索引擎，还有一批检索型 AI 爬虫要进门——它们被 403 挡住，你在 AI 答案里就是不存在。

这属于 P0 级故障，和首页打不开是同一档。麻烦的是它不报错、不掉排名，后台什么异常都看不到，只有主动去测才发现。

语法本身不难，Google 的 robots.txt 官方说明 讲得很清楚。真正的坑在 robots 之外：很多站是 WAF 或 CDN 的安全规则把爬虫拦了，robots 文件写得再漂亮也没用。

我的做法是逐个 UA 去实测，返回码必须是 200。顺带一句：为了放行 AI 爬虫而整体关掉防护是不行的，只放行检索型 UA 白名单就够了。

还有一种更隐蔽的挡法：CDN 的地区策略把某些海外节点的请求直接拒了。站在国内看一切正常，中东或南美的买家打开却是一片空白，这种问题只能靠异地实测才暴露出来。

XML Sitemap：它不是收录保证，是一份申报清单

Sitemap 的作用是申报，不是担保。提交了不等于会被收录，但不提交，新页被发现的速度会明显更慢，尤其是入链还不够的深层产品页。

它最常见的病是「陈旧」：里面躺着一批 404、一批已经 301 走了的旧地址、还有一批根本不希望被收录的筛选页。这种清单等于自己给自己制造噪音。

验收只看两点：新发一页，它能不能自动进清单；随机抽 10 条地址，返回码是不是都 200。做不到自动维护的系统，我会直接把它算进建站验收的不合格项。

清单里该放什么也要想清楚：只放你希望被收录、且确实想让买家看到的地址。筛选页、内部搜索结果页、带追踪参数的地址都不该进去，它们进来一条，清单的可信度就掉一分。

站点规模大的话按类型拆分：产品一份、方案一份、博客一份，再用索引文件串起来。出问题时你能一眼看出是哪一类内容没被发现，而不是对着一份上万行的清单干瞪眼。

Canonical：重复收录是 P1，不是无所谓

canonical 的任务只有一个：在几个都能打开的地址里，指认哪一个是正主。参数、大小写、带不带斜杠、分页，都会让同一篇内容拥有好几个地址。

重复收录是 P1，比 P0 缓一级，但它是慢性病：权重被拆散，搜索引擎替你随便挑一个当正主，你精心优化的那一版可能根本没进候选。

Google 关于规范网址的文档 里有一条常被忽略——canonical 是强烈建议而不是指令。所以别指望它兜底，能从源头不生成重复地址，就不要靠标签去救。

还有一个反面案例我见过好几次：整站 canonical 全部指向首页。这种配置等于告诉搜索引擎「我只有一页」，产品页全部人间蒸发。

日常最容易生成重复地址的是三处：广告和邮件带的追踪参数、列表页的排序与筛选、内容同时挂在两个分类下。前两处交给 canonical 收敛，第三处最好在信息架构上就避开。

hreflang：错配比不配更糟

hreflang 的判断标准和其他四项不一样：不做只是少一个信号，做错会主动制造问题。所以只做英语一个版本的站，不必勉强上。

错配有三种常见形态：声明了却没有回链、指向的语言版本根本不存在、语言代码和地区代码写反。三种都会让声明关系失效，还可能把流量导到错误的版本。

更隐蔽的一种是「多语言半成品」：hreflang 声明了阿拉伯语版本，点进去内容还是英文。这种页面对买家和机器都是负分。

英文出海站真要做多语种，我的建议是按市场优先级一个一个上线，每上线一个把回链补齐，而不是一次性把五个语种的空壳目录全建出来。

落地时还有一个容易漏的细节：每个版本都要声明自己。少了这一条，整组声明在一些解析实现里会直接失效，等于白做。

改版 301：没有 301 就不许改版

这一条我说得很绝对：拿不出旧新地址映射表，改版就不要上线。旧地址上攒了几年的信任和入链，是 301 这一步搬过去的，不是自动继承的。

Google 的 301 重定向文档 把做法写得很细，难点从来不在技术，在工程管理：几千条地址一一对应，谁来出这张表、谁来验收。

我验收 301 只看三件事：旧地址访问后是不是 301 到内容对应的新页，有没有一批被粗暴地全部指向首页，跳转链有没有超过两跳。

改版这件事的完整清单不止 301，还牵涉模板和字段能不能改，这部分和 独立站建设 的验收口径是同一套，最好在立项时就合并成一张表。

P0 故障图鉴：审计永远先查这六项

接一个新站，我永远先查这 6 项。它们的共同点是：命中任何一项，做再多内容和外链都是白费。

这 6 项里，SSL 证书过期是最容易被忽略的一项——它不是 SEO 问题，是生意问题，整站在到期那一刻对所有访客不可用，询盘也会跟着断。更多故障排查案例见 客户案例。

CWV 阈值：官方三项 + 内部一项，和一个不该写进报告的说法

底座清完，才轮到性能。Core Web Vitals 官方只定义三个指标：最大内容绘制 ≤2.5 秒、交互到下一次绘制 ≤200 毫秒、累计布局偏移 ≤0.1；首字节时间 ≤800 毫秒不在官方名单里，是互旦交付标准里补充的第四条内部阈值。

内部目标我按三项全绿来定，不追求满分。交互响应现在只看 INP；那个已经被 INP 取代的旧交互响应指标，不要再出现在任何报告里，写了等于自曝知识没更新。

还有一个说法要单独提醒：所谓「CWV 综合评分制」属于第三方观察、未经官方确认，我不会把它写进任何正式报告或方案里。

顺序我再强调一次：P0 未清不投内容。把底座和内容节奏放进同一张排期表，是 B2B 出海解决方案 里最省钱的一个动作。

— FELIX

常见问题

robots.txt 要不要放行 AI 爬虫？

检索型的建议放行，否则答案引擎取不到页面，被引用无从谈起。做法是给检索型 UA 建白名单逐个实测，返回码必须是 200；训练型爬虫按自己的意愿决定。绝对不要为了放行而整体关掉 WAF 防护。

提交了 sitemap 为什么还不收录？

因为 sitemap 是申报清单，不是收录保证。它只帮搜索引擎更快发现地址，是否收录仍取决于页面质量、入链和整站信任度。先检查页面有没有至少 2 条站内入链，再检查内容是不是和已有页面高度重复。

canonical 指错了会怎样？

最常见的后果是页面被并到别的地址上，自己不再单独出现在搜索结果里。整站 canonical 指向首页是最严重的一种，等于声明全站只有一页。改完之后要重新抓取，恢复通常需要几周。

只做英文站需要 hreflang 吗？

不需要。hreflang 用来声明同一内容的不同语言或地区版本，单语种站点配了也没有意义。反过来说，做了多语种却漏配回链或指向空壳页面，比不配更糟，所以按市场优先级一个一个上线更稳。

改版时 301 要做到什么程度？

要做到旧地址一对一指向内容对应的新页，而不是全部指向首页。跳转链控制在两跳以内，映射表在上线前准备好并逐条抽验。拿不出这张表就不要改版，旧地址的信任一旦断掉没有补救窗口。

Core Web Vitals 不达标会掉排名吗？

它是页面体验层面的信号，但通常不是排名波动的首要原因，P0 级故障才是。阈值可以按最大内容绘制 2.5 秒、累计布局偏移 0.1 这条线去盯，目标是三项达标而不是满分。所谓综合评分制未经官方确认，别写进报告。

相关文章

专栏延伸与诊断专案：本文收录于 外贸独立站专栏。进阶排查建议对照阅读：传统制造工厂从阿里国际站/展会转独立站：90天冷启动路线图 · 外贸建站验收标准与 SEO 月报真伪核查表。