Bing 今天透露,它一直在使用 Bert 出现在谷歌之前的搜索结果中,并且也在大规模使用。
Google 在搜索结果中使用 BERT 的原因目前影响了两个国家 10% 的美国搜索结果和精选摘要。另一方面,Bing 现在在全球范围内使用 BERT。
Bing 从 4 月开始就开始使用 BERT,比谷歌早了大约半年。在一篇博文中,Bing 详细介绍了将 BERT 扩展到全球搜索结果所面临的挑战。
Bing 承认,将像 BERT 这样的深度学习模型应用于全球范围的网络搜索可能会非常昂贵。微软的“Azure”云计算服务终于使之成为可能。
原先预计需要数万台服务器才能实现,使用了2000多台Azure GPU虚拟机才完成。 Bing 从在 20 个 CPU 内核上以每次推理 77 毫秒的速度提供三层 BERT 模型,到在 Azure 虚拟机上使用 GPU 模型以 6 毫秒的速度提供 64 次推理。
从在 CPU 模型上运行 BERT 到在 GPU 模型上运行 BERT 的转变导致吞吐量增加了 800 倍:
“通过这些 GPU 优化,我们能够到 2000 多个 Azure GPU 虚拟机跨区域使用,在全球范围内每秒服务超过 100 万次 BERT 推理。 Azure N 系列 GPU 虚拟机对于 Bing 来说至关重要,它可以使 Bing 具有高可用性、敏捷性和显着的成本节约。变革性的 AI 工作负载和产品质量改进至关重要,尤其是随着深度学习模型变得越来越复杂。
迄今为止,Bing 搜索的这些改进是全球可用。有关 BERT 的更多信息,请参阅:
- Google BERT update – what it means
- Google BERT misinformation challenged
- How to use BERT to generate meta大规模描述