随着网络的发展,Google和SEO也在发展。

这意味着被认为是最佳实践的往往是不断变化的。昨天可能是好的建议,而今天却不是。

对于几乎与SEO本身一样古老的站点地图尤其如此。

问题是,当每个人和他们的狗都在论坛上发布答案,在博客上发布建议并在社交媒体上放大意见时,需要花费时间来从错误信息中整理出有价值的建议。

因此,尽管我们大多数人都普遍认为向Google Search Console提交站点地图很重要,但是您可能不知道如何以驱动SEO关键绩效指标(KPI)的方式来实施这些站点。

让我们澄清一下当今关于站点地图最佳做法的困惑。

在本文中,我们涵盖:

  • 什么是XML网站地图
  • XML网站地图格式
  • 网站地图的类型
  • XML网站地图索引优化
  • XML网站地图最佳做法清单

什么是XML网站地图

简单来说,XML网站地图是您网站网址的列表。

它充当了路线图,告诉搜索引擎哪些内容可用以及如何到达。

在上面的示例中,搜索引擎将在一次访问XML网站地图文件的情况下找到该网站地图中的所有九个页面。

在网站上,它必须跳过五个内部链接才能找到第9页。

XML网站地图协助爬虫更快地建立索引的功能对于以下网站尤其重要:

  • 具有数千个页面和/或深厚的网站架构。
  • 经常添加新页面。
  • 经常更改现有页面的内容。
  • 内部链接和孤立页面较弱。
  • 缺乏强大的外部链接配置文件。

旁注:提交没有索引网址的站点地图也可以加快索引的删除速度。如果要删除许多URL,这比在Google Search Console中删除URL更为有效。但请谨慎使用,并确保仅将此类URL临时添加到站点地图中。

重点介绍

即使搜索引擎可以从技术上找到没有它的URL,但通过将页面包含在XML网站地图中,您仍表示您将其视为高质量的目标网页。

尽管不能保证XML站点地图会使您的页面爬行,更不用说索引或排名了,但是提交一个肯定会增加您的机会。

XML Sitemap格式

使用所有可用标签的一页站点将具有以下XML站点地图:

但是SEO应该如何使用这些标签中的每一个?所有元数据有价值吗?

Loc(又称位置)标签

此强制标记包含URL位置的绝对规范版本。

它应准确反映您的站点协议(http或https),以及您是否选择包含或排除www。

对于国际网站,您也可以在这里 实施您的hreflang处理。

通过使用xhtml:link属性指示每个URL的语言和区域变体,可以减少页面加载时间,而页面加载时间可以通过其他方式实现 或HTTP标头无法提供。

酵母有史诗 发布 在hreflang上为那些想了解更多的人。

Lastmod(又称Last Modified)标签

一个可选的但强烈推荐的标签,用于传达文件的上次修改日期和时间。

John Mueller承认Google确实使用lastmod元数据来了解页面的上次更改时间以及是否应对其进行爬网。来自的矛盾建议 伊利亚斯 在2015年。

最后修改时间对于内容网站尤其重要,因为它可以帮助Google了解您是原始发布者。

它也可以传达新鲜度,但是请确保仅在进行了有意义的更改后才更新修改日期。

尝试去 欺骗搜索引擎,使您的内容新鲜,否则可能会被Google处以罚款。

Changefreq(又称更改频率)标签

曾几何时,此可选标签提示了预期URL上的内容更改为搜索引擎的频率。

但 穆勒表示 “更改频率在站点地图中并没有真正发挥重要作用”,“直接指定时间戳会更好”。

优先标签

这个可选标签表面上告诉搜索引擎页面相对于其他URL的重要性在0.0到1.0之间。

充其量,这对搜索引擎以及Mueller和 伊利亚斯 明确表示他们将其忽略。

重点介绍

您的网站需要XML网站地图,但不一定需要优先级和更改频率的元数据。

正确使用lastmod标签,并集中精力确保您提交了正确的URL。

站点地图的类型

有许多不同类型的站点地图。让我们看看您实际需要的那些。

XML Sitemap索引

XML网站地图有两个限制:

  • 最多50,000个URL。
  • 未压缩的文件大小限制为50MB。

可以使用gzip压缩站点地图(文件名将类似于sitemap.xml.gz)以节省服务器带宽。但是,解压缩后,站点地图仍然不能超过任何一个限制。

每当超出任何限制时,您都需要在多个XML网站地图中拆分URL。

然后可以将这些站点地图合并为一个XML站点地图索引文件,该文件通常称为sitemap-index.xml。本质上是站点地图的站点地图。

对于希望采用更细粒度方法的超大型网站,您还可以创建多个站点地图索引文件。例如:

  • sitemap-index-articles.xml
  • sitemap-index-products.xml
  • sitemap-index-categories.xml

但是请注意,您不能嵌套站点地图索引文件。

为了使搜索引擎轻松一次找到每个站点地图文件,您将需要:

  • 将您的站点地图索引提交到Google Search Console和Bing网站管理员工具。
  • 在robots.txt文件中指定站点地图索引网址。欢迎搜索引擎抓取,直接将它们指向您的站点地图。

您也可以通过将其ping到Google来提交站点地图。

但要注意:

Google不再关注“未经验证的站点地图”中的hreflang条目, 汤姆·安东尼 相信是指通过ping URL提交的内容。

XML图片站点地图

图像站点地图旨在改善图像内容的索引编制。

但是,在当今的SEO中,图像是嵌入在页面内容中的,因此将与页面URL一起进行爬网。

此外,最佳实践是利用JSON-LD schema.org/ImageObject 标记,以向搜索引擎调用图片属性,因为它提供的属性比图片XML网站地图更多。

因此,大多数网站都不需要XML图片站点地图。包含图片站点地图只会浪费抓取预算。

例外情况是图像是否有助于推动您的业务发展,例如股票照片网站或电子商务网站从Google Image搜索获得产品页面会话。

请注意,图像不必与您的网站位于同一域中,即可在站点地图中提交。您可以使用CDN,只要已在Search Console中对其进行了验证。

XML视频站点地图

与图像类似,如果视频对您的业务至关重要,请提交XML视频站点地图。如果不是,则不需要视频站点地图。

保存视频嵌入页面的抓取预算,确保您将所有视频都标记为JSON-LD schema.org/VideoObject。

Google新闻站点地图

只有在Google新闻中注册的网站才可以使用此站点地图。

如果您愿意,请包括最近两天发布的文章,每个站点地图最多包含1,000个URL,并在发布新文章时立即对其进行更新。

与某些在线建议相反,Google新闻站点地图不支持图片网址。

Google推荐 使用schema.org图片或og:image为Google新闻指定文章缩略图。

行动版网站地图

大多数网站不需要这样做。

为什么?因为 穆勒证实 移动站点地图仅适用于功能电话页面。不适用于智能手机兼容性。

因此,除非您具有专门为特色手机设计的唯一URL,否则移动站点地图将无济于事。

HTML网站地图

XML网站地图可满足搜索引擎的需求。 HTML网站地图旨在帮助人类用户查找内容。

问题是,如果您拥有良好的用户体验和精心设计的内部链接,是否需要HTML网站地图?

在Google Analytics(分析)中检查HTML网站地图的页面浏览量。可能性很低。如果不是,则表明您需要改善网站导航。

HTML网站地图通常在网站页脚中链接。从网站的每个页面获取链接资产。

问你自己。那是对链接资产的最佳利用吗?或者,您是否包含HTML网站地图以向传统网站的最佳做法致敬?

如果很少有人使用它。搜索引擎不需要它,因为您具有强大的内部链接和XML网站地图。该HTML网站地图是否有理由存在?我会说不。

动态XML网站地图

使用Screaming Frog等工具可以轻松创建静态站点地图。

问题是,一旦创建或删除页面,您的站点地图就会过时。如果您修改页面的内容,则站点地图不会自动更新lastmod标记。

因此,除非您喜欢为每个更改手动创建和上传站点地图,否则最好避免使用静态站点地图。

另一方面,动态XML网站地图会由您的服务器自动更新,以反映相关的网站更改。

要创建动态XML网站地图,请执行以下操作:

  • 请您的开发人员编写自定义脚本的代码,并确保提供清晰的规范
  • 使用动态站点地图生成器工具
  • 为CMS安装插件,例如WordPress的Yoast SEO插件

重点介绍

动态XML网站地图和网站地图索引是现代的最佳做法。移动和HTML网站地图不是。

仅在这些内容类型的索引编制改善了您的KPI时,才使用图像,视频和Google新闻站点地图。

XML Sitemap索引优化

现在是有趣的部分。您如何使用XML网站地图来驱动SEO KPI。

在XML网站地图中仅包含SEO相关页面

XML网站地图是您建议抓取的页面列表,不一定是网站的每个页面。

搜索蜘蛛会以“允许”的价格到达您的网站,它会爬行多​​少页面。

XML站点地图表示您认为所包含的URL比未阻止但不在站点地图中的URL更重要。

您正在使用它来告诉搜索引擎“如果您特别关注这些URL,我将非常感谢。”

本质上,它可以帮助您有效地使用抓取预算。

通过仅包含SEO相关页面,您可以帮助搜索引擎更智能地抓取您的网站,以便获得更好的索引编制的好处。

您应该排除:

  • 非规范页面。
  • 页面重复。
  • 分页页面。
  • 基于参数或会话ID的URL。
  • 网站搜索结果页面。
  • 回复评论网址。
  • 通过电子邮件URL共享。
  • 通过过滤创建的URL对于SEO来说是不必要的。
  • 存档页面。
  • 任何重定向(3xx),缺少页面(4xx)或服务器错误页面(5xx)。
  • 被robots.txt阻止的页面。
  • 没有索引的页面。
  • 潜在客户表单可访问的资源页面(例如,白皮书PDF)。
  • 实用程序页面对用户有用,但不希望成为登录页面(登录页面,与我们联系,隐私政策,帐户页面等)。

我想分享一个例子 迈克尔·科塔姆 关于页面优先级:

假设您的网站有1,000页。这1,000页中的475页是SEO相关内容。您在XML网站地图中突出显示了这475个页面,实际上是要求Google取消对其余部分的索引编制优先级。

现在,假设Google抓取了这475个页面,并通过算法确定175个“ A”级,200个“ B +”级和100个“ B”或“ B-”。这是一个很不错的平均成绩,可能表明该网站可以吸引用户。

相比之下,通过XML网站地图提交所有1,000个页面则相反。现在,Google查看了您说与SEO相关的1000个页面,发现超过50%的页面是“ D”或“ F”页面。您的平均成绩不再那么好,这可能会损害您的自然训练。

但是请记住,Google只会将您的XML网站地图用作您网站上重要内容的线索。

仅仅因为它不在您的XML网站地图中,并不一定意味着Google不会为这些页面编制索引。

对于SEO,整体网站质量是关键因素。

要评估您的网站质量,请转到Google Search Console(GSC)中与站点地图相关的报告。

重点介绍

通过仅将XML站点地图URL限制为SEO相关页面来管理爬网预算,并投入时间以减少网站上劣质页面的数量。

充分利用站点地图报告

新版Google Search Console中的Sitemaps部分没有以前提供的那样丰富的数据。

现在的主要用途是确认您的站点地图索引已成功提交。

如果您选择使用描述性的命名约定,而不是数字的,则还可以了解“发现”的不同类型的SEO页面的数量,也就是Google通过站点地图找到的所有URL以及其他方法,例如如以下链接。

在新的GSC中,对于SEO而言,与站点地图有关的更有价值的领域是“索引覆盖率”报告。

该报告将默认为“所有已知页面”。在这里您可以:

  • 解决任何“错误”或“对警告有效”的问题。这些通常来自 机器人指令冲突。一个解决了,请确保通过“覆盖率”报告验证您的修复。
  • 查看索引趋势。大多数网站都在不断增加有价值的内容,因此“有效”页面(又称Google索引的页面)应稳步增加。了解任何急剧变化的原因。
  • 选择“有效”,然后在“索引中,未在站点地图中提交”类型的详细信息中查找。这些页面上您和Google在其价值上存在分歧。例如,您可能尚未提交您的隐私权政策网址,但Google已将该页面编入索引。在这种情况下,无需采取任何措施。您需要寻找的是源自以下网址的索引网址 分页处理不佳, 参数处理不善,重复内容或网页意外遗漏在站点地图之外。

然后,通过将下拉列表更改为“所有提交的页面”,将报告限制为您包含在站点地图中的SEO相关URL。然后检查所有“排除”页面的详细信息。

排除站点地图URL的原因可以分为四个操作组:

  1. 快速获胜:针对重复的内容,规范,机器人指令,40X HTTP状态代码,重定向或合法性排除,请进行适当的修复。

  2. 调查页面:对于“提交的网址已删除”和“爬网异常”排除项,请使用Google抓取方式进一步调查。

  3. 改善页面:对于“已爬网-当前未建立索引”页面,请查看页面(或页面类型,通常是具有相似种类的许多URL)的内容和内部链接。可能是因为内容稀少,内容原始或孤立。

  4. 改善域名:对于“已发现-当前未建立索引”页面, Google笔记 他们被排除在外的典型原因是“他们试图抓取网址,但网站超载”。不要上当。 Google更有可能决定“这不值得付出努力”,因为内部链接质量不佳或从域中看到的内容质量较低。如果您看到更多此类排除项,请查看通过站点地图提交的页面(或页面类型)的SEO值,着重于优化抓取预算,并从链接和内容中查看信息架构(包括参数)透视。

无论您的行动计划如何,请务必记下基准KPI。

评估站点地图优化工作影响的最有用的指标是“所有提交的页面”索引率-通过从已发现的URL总数中减去有效页面的百分比来计算。

努力使这一比例达到80%以上。

为什么不100%?因为如果您将所有精力都集中在确保对当前拥有的每个SEO相关URL进行索引,那么您可能会错失扩大内容覆盖范围的机会。

注意:如果您是一个较大的网站,并且选择将其网站分为多个Sitemap索引,则可以按这些索引进行过滤。这不仅使您能够:

  1. 请从更细致的角度查看概述图表。
  2. 调查排除类型时,请参阅大量相关示例。
  3. 逐段处理索引率优化。

重点介绍

除了识别警告和错误之外,您还可以将“索引覆盖率”报告用作XML站点地图侦查工具来隔离索引问题。

XML Sitemap最佳做法清单

花时间去:

✓在XML网站地图中包含hreflang标签

✓包括 标签

✓使用gzip压缩站点地图文件

✓使用站点地图索引文件

✓仅在索引驱动您的KPI时才使用图像,视频和Google新闻站点地图

✓动态生成XML网站地图

✓确保仅在单个站点地图中包含URL

✓robots.txt中的参考站点地图索引URL

✓将站点地图索引提交到Google Search Console和Bing网站管理员工具

✓在XML网站地图中仅包含SEO相关页面

✓修复所有错误和警告

✓分析有效页面的趋势和类型

✓计算提交页面的索引率

✓解决排除提交页面的原因

现在,请检查您自己的站点地图,并确保您做对了。

图片积分

特色图片:Paulo Bobita
作者拍摄的所有屏幕截图