谷歌搜索不再索引新网页？罪魁祸首非ChatGPT莫属

　　如今信息科技的发展已经带来了信息的爆炸式增长，每天都有数以亿计的海量信息在互联网中产生，大家想要从根牙磐错的数据海洋里找到想要的信息，搜索引擎无疑是最好的帮手。过去二十余年间，作为全球最大的搜索引擎，谷歌搜索更是许多人认知互联网世界的桥梁。可如今这座大桥似乎变了。

　　近日，专注SEO（搜索引擎优化）的科技博客Vincent Schmalbach指出了一个让人意外的变化，即谷歌不再试图索引整个网络，而是变得极具选择性，并拒绝索引大多数内容。按照相关文章中作者的说法，谷歌搜索现在似乎是在“默认不索引”的基础上运行，只有当搜索引擎察觉到真正的需求时，才会将内容包含在其索引中。

　　作者举例到，在过去建立一个新的域名时，即使没有外链，新域名也会在一个小时或更快的时间内被谷歌搜索索引。确实，在SEO这个概念兴起之前，谷歌搜索对于内容如同饕餮般贪婪，一个新的博客、新的网站在建立之后很快就会被收录。但随着SEO的泛滥，谷歌与SEOer之间的猫鼠游戏也来到了高潮，谷歌方面希望索引高质量内容以满足用户的需求，而SEOer则想要让更多的网页出现在谷歌搜索排名的前列，从而获得更多广告收入。

　　谷歌持续不断更新搜索引擎的算法，以期在浩瀚的数据海洋里筛选出有价值的内容，SEOer则一直在试图破解谷歌搜索的“黑匣子”，找出算法中的秘密。斗而不破无疑是谷歌和SEOer对抗的主旋律，双方都在Google Search Console的框架下进行攻防。显而易见，如果谷歌搜索真的开始进行选择性索引，也不会是因为SEO。

　　需要注意的是，谷歌搜索发生如此剧烈的变动，暂时没有得到官方的确认。不过，谷歌搜索确实在2019年8月出现了无法对网络上的新内容进行索引，彼时谷歌给出的解释是BUG，所以不排除这次谷歌搜索又出现了BUG。并且谷歌一直在持续性地审查内容索引，以减少搜索中的无用内容，也导致会经常性地出现一些网站被取消索引的情况。

　　当然，绝大多数SEOer相信这一次谷歌搜索变得极具选择性、拒绝索引大多数内容不是BUG，因为2019年的互联网环境与今天有着巨大的区别，那就是AIGC已经横空出世。以ChatGPT为代表的AIGC技术率先在图文领域实现了突破，在多模态大语言模型的加持下，AI生成的内容与人创作的内容之间变得已经越来越难以分辨。

　　在2022年之前，AI绘画的特征是“不会画手部”，彼时相当多画师以此为依据相信AI对于绘画的冲击不过是幻想，但随着Midjourney V5的出现，AI绘画工具已经在细节上毫无瑕疵，随后发生的事情就是游戏美术、约稿画师大面积失业。既然绘画都已然被AI重塑，就更遑论文字了。

　　从ChatGPT到文心一言、从Gemini到Kimi，AI大模型输出的文字可能缺乏文采、也谈不上个人风格，但绝对语句通顺、e且有逻辑性。

　　简单来说，由Kimi、GPT-4生成的文章或许无法让人感受到文字的美感和力量，也缺乏“人味”，但已经有了阅读的价值。要不然Character.AI等专注虚拟角色扮演的产品，如今不可能风靡全球，科学家也不会使用AI来处理数据、编写代码，并帮助他们撰写论文了。

　　早在AIGC技术出现之前，基于自动化脚本的内容农场（Content Farm）、社交机器人（Social media bots）就已经在互联网上泛滥了。只不过当时由于技术方面的限制，在行文、逻辑上还存在硬伤，一般人一眼就能看出不对，比如“XX到底是怎么回事呢？XX相信大家都很震惊，下面就让小编带大家一起了解吧。”

　　早前，内容农场的脚本只能做到简单的内容拼接重组，相比人类创作者凝聚了智慧火花的文字显得呆板而无趣。从脚本到AI大模型，机器编辑图文的能力就出现了质的飞跃。这时候有“聪明”的SEOer发现，“内容为王”有另外一种实现途径，因此用AIGC生成内容就成了自2023年以来网站站长圈子里的潮流。

　　新闻网站评级公司NewsGuard在去年夏季出具的报告显示，使用AI生成内容的假新闻网站正在呈指数级增长。某些SEOer批量建设由AI生成内容填充的网站显然不是为了“图一乐”，而是为了赚钱。基于谷歌亲自建立的在线广告网络，SEOer只需在他们的网站页面指定位置加入一段谷歌Adsense代码、即可加入广告联盟，然后把网站的流量用广告来变现。

　　没错，SEOer之所以要针对谷歌搜索进行优化，正是因为谷歌不仅掌握了流量分配的权力，还拥有流量变现的开关。AIGC之于SEOer就像是一个效率放大器，所以当然会有人前赴后继地尝试用AI生成的内容来博得谷歌搜索的青睐。然而遗憾的是，即便当下的AIGC在生成内容层面有了历史性的进步，但相比于平均水平的内容创作者依然有所不足，而且在幻觉缺陷的影响下还会成为谣言制造机，因此也就有了“AI正在污染互联网”这样的说法。

　　对此，国内的内容平台，如微信、抖音、知乎、微博会要求创作者在创作时自主添加“内容由AI生成”的标签。可创作者使用AI批量炮制内容就是为了赚流量钱，又怎么会主动给内容打上“AI”标签、从而导致内容被限流呢。海外市场的情况也大差不差，在识别AI生成内容的技术成熟前，谷歌搜索对于AI批量产出的内容也几乎毫无办法。