看到这个标题会吓到你吗?
在标题所暗示的一切之后,我可以向您保证,您完全放心了。
如果你想和我一起重温我的噩梦(也许同时发泄和做搜索引擎优化研究),我们将按时间顺序进行。
你准备好了吗?
2019 年 8 月 4 日
那是星期天早上。我喝了咖啡,像往常一样使用我们的 SEO 工具,什么都没想。然后……砰!
什么。的。地狱?
作为SEO,我们都习惯于看到排名的自然波动。波动,而不是消失。
第一步:否认
我立刻想到一件事:这是一个错误。所以我跳进了其他工具,看看 Ahrefs 是否失去了理智。
Google Analytics 也显示了一个相应的流量下降,这是肯定的。所以,作为一名 SEO,我自然而然地认为最糟糕的事情是...
第 2 步:Algo Panic
算法更新。拜托,请不要让它成为算法更新。
我跳进了梭子鱼的 Panguin 工具,看看我们的问题是否发生在已确认的更新上。
暂无更新。 ew
第 3 步:诊断
没有人想清楚他们的爬行动物何时活跃。你恐慌,你不理智地思考,你做出错误的决定。零感冒。
终于集思广益想清楚是怎么回事了:关键字排名完全消失是很不寻常的事情。它必须是技术性的。
必须是索引。
通过 Google 快速搜索关键字排名下降的页面,结果发现这些页面实际上已经消失了。 Search Console 报告相同的内容:
< p>注意底部的警告:
No: 'noindex' detected in 'robots' meta tag
现在我们到了某个地方。接下来,是时候在源代码中确认这一发现了。
我们的页面被标记为去索引。但是到目前为止,实际上有多少页面被取消了索引?
第 4 步:调查损坏情况
它们都是。在向我们的开发人员发送了一些疯狂的注释后,他确认将近三天前的星期四晚上(2019 年 8 月 1 日)部署的冲刺不小心将代码推送到每个页面。
但是整个站点都被索引了吗?
这极不可能发生,因为要发生这种情况,Google 必须用三天时间抓取网站的每个页面才能找到“noindex”标签。 Search Console 在这方面不会帮助您,因为它的数据总是滞后的,并且在更改之前可能永远不会被修改。
即使现在回头看,我们也看到 Search Console 最多只提取了 249 个受影响的页面,并且有超过 8,000 个被编入索引。这不太可能,因为在事件解决后的整个星期内搜索量下降了三分之一。
注:我永远无法不确定谷歌中有多少页面被完全索引,但我知道每个页面都有一个“noindex”标签,我依稀记得谷歌搜索“site:brafton.com”并看到我们的第八个页面中有一个被索引了。真希望我有截图。感到抱歉。
第 1 步:解决问题
发现问题后,我们的开发人员回滚了更新,并按“noindex”标签之前的样子发布了网站。接下来是重新索引我们的内容的问题。
第 2 步:尽快刷新网站
我删除了旧站点地图,构建了一个新站点地图,然后将其重新上传到 Search Console。我还抓取了我们的大部分核心产品登录页面,并手动要求重新编制索引(自从最近的 SC 更新以来,我不完全相信这会做任何事情)。
第三步:等待
此时,我们别无选择,只能等待。有很多问题:
- 页面排名会和以前一样吗?
- 他们的排名会一样吗?
- Google 是否以某种方式“惩罚”页面的短暂消失?
只有时间会证明一切。
2019年8月8日(周)-搜索量下降33%
在评估损失时,我会用error day)填上日期作为零的基础。因此,第一次测量将从8月2日至8月8日进行7天。
Search Console 可能最能说明我们在搜索中损失了多少。
我们损失了大约 33.2%的搜索流量。哎哟。
幸运的是,这将标志着我们在整个磨难过程中经历的最严重的伤害。
2019 年 8 月 15 日(两周)- 流量下降 23%
这段时间,我一直在关注两件事:搜索流量和索引页面。尽管重新提交了我的站点地图并在 Search Console 中手动获取页面,但许多页面仍未编入索引 - 甚至是核心着陆页。这将是整个日程的主题。
我们仍然在流失流量,因为我们仍有未编入索引的页面。
事发两周后,我们的流量仍然下降了 8%,尽管流量增加了,但我们的创收转化率随着流量的下降而下降。
2019年8月22日(三周)-流量13% drop
我们的页面索引仍然很慢。当我看到我的商业目标落空时,我感到非常痛苦。
至少是显而易见的我们的搜索正在恢复。但是如何恢复是我特别感兴趣的。
是否所有页面都重新编入索引,但搜索流量减少了?
是否只有部分页面重新索引并具有完全恢复的搜索状态?
为了回答这个问题,我查看了取消索引和重新索引的页面。这是其中一个页面的示例:
p>
这是一个页面在短时间后被取消索引的示例:
在我能找到的每一个实例中,每一个页面都完全恢复到原来的搜索状态。所以这似乎不是页面是否恢复的问题,而是什么时候重新索引的问题。
说到这一点,Search Console 有一项新功能可以“验证”错误页面。我在 8 月 26 日开始了这个过程。在此之后,SC 慢慢地重新抓取(我认为)页面,每周大约 10 页。这比正常的预定爬网快吗? SC 中的这些工具还能做什么?
我可以确认的是,三周后仍然有很多页面索引不足,包括我依赖流量的页面。以后再说。
2019 年 8 月 29 日(四周)- 流量下降 9%
此时,我非常沮丧,因为只有大约 150 个页面需要重新索引,而且没有无论我在什么位置,无论 Search Console 检查多少次并请求重新编制索引,它都不起作用。
这些页面完全可以被编入索引(如 SC URL Check 所报告),但不会被抓取。结果,将近一个月后,我们仍然比基线低 9%。
具体页面就是拒绝重建索引。这是我要转换的高商业价值产品页面。
为了强制重新-索引,我试过:
- URL 检查和请求索引(每月 15 次)。
- 更新出版日期,然后请求索引。
- 更新内容和出版日期,然后请求索引。
- 将站点地图重新提交给 SC。
没事。此页面不会重新编制索引。其他一百多个商业影响较小的 URL 也是如此。
注意:此页面要到 10 月 1 日才会重新编入索引,即取消索引后的两个月。
顺便说一句,这是我们四个星期后的整体恢复进度:
2019 年 9 月 5 日(五周)- 流量下降 10.4%
Great Plateau。在这一点上,我们已经重新索引了所有页面,除了大约 150 个据称是“已验证”的页面。
他们不是。而且它们也没有被重新攀登。
看来我们可能完全恢复,但时间掌握在谷歌手中,我无能为力。
2019 年 9 月 12 日(六周)- 流量增长 5.3%
我们花了大约六周时间才完全恢复流量。
但实际上,我们还是无法完全恢复流量,因为某些内容对许多尚未编入索引的页面表现过度和补偿过度。值得注意的是,我们的产品页面在接下来的 2.5 周内都不会被编入索引。
一般来说,六周后来,我们的搜索量恢复了。但是,直到问题解决八周后,我们的内容才完全重新编入索引。
结论
首先,切勿因意外、实验或任何其他原因对您的网站取消索引。刺痛。我估计我们清除了所有自然流量的 12%,相当于商业转化率下降了相同百分比。
我们学到了什么?
一旦页面被重新索引,搜索范围就可以完全恢复。最大的问题是让他们重建索引。
我们用这个意想不到的实验回答了一些关键问题:
我们恢复了吗?
是的,我们已经完全恢复并且所有 URL 似乎都具有相同的搜索可见性。
花了多长时间?
六周后,搜索可见性恢复到基线。大约八到九周后,所有页面都会重新编制索引。