《双虫记》——2025互联网生态的裂变真相

“这是最好的时代，也是最坏的时代。”

曾几何时，只要一个内容优质的独立博客登上谷歌搜索首页，就会有源源不断的流量蜂拥而至，草根站长一夜之间名声大噪，仿佛拿到了流量变现的入场券。在那段“黄金时代”里，谷歌搜索像一位慷慨的引路人，将用户带往形形色色的网站，无数小站点都分享着互联网繁荣的红利。

而今，这份繁荣悄然生变：活跃的小站流量骤降，取而代之的是互联网巨头旗下的各类平台内容，甚至包括谷歌自己在搜索结果中用AI生成的答案。曾被奉为业界良心的谷歌仿佛陷入了前所未有的困境——人工智能的崛起不仅改变了用户行为、分流了用户，还对生态内容带来了巨大冲击。

2025年4月，在世界排名前10的网站中，GPT是唯一一个流量正增长的网站。图源：Voronoi App；数据源：Similarweb

作为一名小企业主，而且身处春江水暖鸭先知的营销行业，我最近切身感受到：生意越来越难做了。

近来的各种“财富集中化”的新闻内容我们暂且不提，但它们似乎都在说明：“不对劲”，这个世界正变得“不对劲”起来——用网络流行语来说，就是“坏起来了”。

在Reddit（北美版贴吧）上，人们不断发出这样的哀叹，其中让我印象最深的是两个帖子：

创业者板块：最近还有人注意到 Google 流量大幅下降吗？

科技板块：研究表明，谷歌人工智能概览对网站流量造成毁灭性影响

类似的帖子还有很多，回复多到刷不完。虽然这让我觉得不再孤单，但依然没人能回答：“到底怎么了？”

谷歌搜索还能继续扮演好从前“良心引路人”的角色吗？小企业主们又将在这场巨变中何去何从？在如今这个几乎大部分生意都离不开网络运营的时代，在这个流量和营销能够左右大众认知的2025 年，欧美市场究竟发生了什么“坏起来了”的事？我将通过几个故事，与您一同揭开这场生态裂变的真相。

第一章 双虫记：Googlebot与GPTBot的流量绞杀故事

故事要从两只爬虫说起。

一只是名叫Googlebot 的老爬虫，它在互联网的信息森林里辛勤劳作了二十多年。它负责索引网站内容并反馈给谷歌搜索，谷歌再把用户引导回这些网站。这种共生关系维系已久：Googlebot 替谷歌收集网络信息，用户通过谷歌点击访问站长的网站，让站长们获得流量果实。

另一只新爬虫GPTBot 的出现打破了这种平衡。这个 OpenAI 派出的爬虫也在全网采集网页内容，但目的不是为了搜索引擎，而是为了训练大型语言模型（LLM），以至于可以直接为用户生成答案。GPTBot 爬遍各大网站，汲取文字养分，当用户向 ChatGPT 提问时，它可以直接吐出“咀嚼”好的答案——用户满意地拿走答案，并不需要再访问原始网站。对于站长来说，自己的内容被AI 吃掉了，而用户和流量则被截留在了AI 的界面内。

2025 年的互联网由此迈入了“双虫争食”的时代：一边是传统搜索引擎的爬虫，一边是 AI 生成式爬虫。两只爬虫都在啃食站长产出的内容当养料，但给予站长的回报截然不同——谷歌过去是“引路人”，抓取会给你带来访问；GPTBot 则更像“不速之客”，翻遍你的网站上千次，可能只留下寥寥一两次访问，甚至是零点击（Zero-click searches）。

这绝非危言耸听。

Cloudflare 的数据显示，传统搜索爬虫和 AI 爬虫之间的供需失衡已到了惊人的地步：Googlebot 平均每抓取 6~7 次，就能为网站换来 1 次点击（当然，这个数据以前是每3次爬取就能带来1次点击）；OpenAI 的 GPTBot 则要爬取约 1500 次才带来 1 次跳转；甚至 Anthropic 公司的 Claude 爬虫，高达 7万多次抓取才换来1 次访问！换句话说，过去搜索引擎爬虫给网站带来的是实打实的流量，而现在这些 AI 爬虫只是白白耗掉站长的内容和带宽，却几乎不给任何回访。

AI摘要上线后新闻站点流量下跌与零点击率上升趋势（橙线为新闻站点来自搜索的月度流量，绿线为搜索中零点击占比）图源：Similarweb

过去是“虫食百家，粮出百家”，现在变成了“虫食百家，粮归一家”。谷歌自己的搜索结果页面也越来越倾向于直接给出答案，传统那种“点击链接获取详细信息”的场景正逐渐消失。站长们昔日梦寐以求的十条蓝色链接，如今被 AI 摘要、知识面板、地图卡片、购物框等内容淹没。舞台还在，但聚光灯只对准谷歌自己以及少数几个平台。

在这场“双虫争食”的故事里，各位站长早已不再是主角，甚至连配角都算不上，俨然沦为无名的供养者。这样的故事要如何继续下去？

第二章 六个小故事：揭开搜索生态“裂变”真相

1. Google真正的竞争对手是谁？

很多人提起谷歌的对手，自然会想到Bing、Baidu 等其他搜索引擎。然而谷歌眼中的挑战者并不是某个特定搜索引擎，而是互联网上争夺用户时间和注意力的所有巨头。从社交媒体、短视频到电商平台、流媒体——凡是能抢走用户时间的，都是谷歌的对手。试想，用户在 TikTok 刷视频、在 Instagram 看美照、在 Amazon 选商品的每一分钟，都是从谷歌生态里“偷”走的时间。大厂之间的竞争，归根结底是争夺用户的时间与心智；从业务角度看，争夺的则是为用户解决问题的主导权。

为了不把用户拱手让人，谷歌对于搜索结果的取舍一直格外谨慎。它深知：如果搜索结果页都是竞争对手的大平台内容，用户还用你谷歌干甚。因此谷歌天生更愿意把机会留给独立站点，而不是让那些早已坐拥庞大用户的平台继续分走流量。只要你的内容足够“小而美”，可以比大平台更精准地解决用户问题，谷歌就倾向于让你排在前面。这样不仅避免了搜索结果被对手垄断，还能让站长们分享到流量红利，更强化了他们对谷歌生态的依赖和好感。这个模式有助于谷歌长期稳固自己的广告基本盘。

正因这种雨露均沾的流量策略，谷歌一直以来才被视为相对“良心”的平台，它深谙此道：让生态里的站长都尝到甜头，自己才能获得最大的长期利益。

2. 流量馈赠的盛宴：谷歌稳固时期的“良心”

在谷歌稳坐欧美网络流量入口头把交椅的那些年，上述理想一度变为现实。谷歌自身地位稳固时，曾源源不断地将搜索“汁液”输送给无数中小网站。这种广撒流量的慷慨为谷歌赢得了开明厚道的口碑。那时的谷歌更像一个耐心的园丁，让互联网百花齐放，自己则从繁盛的生态中收获长尾效益。

这背后靠的是谷歌对大局的自信——既然全球流量入口都被我垄断，我就有余力成全整个生态的繁荣。在那个阶段，谷歌搜索算法的更新主要针对垃圾内容和低质量页面，确保用户体验。中小网站只要遵循规则、持续产出有价值的内容，就不用担心莫名其妙被挤出局。谷歌最稳固的岁月里，确实实践过“三方共赢”：用户找到满意答案，站长获得流量欣喜而归，谷歌巩固了广告业务。

3. 风向开始改变——谷歌的流量自卫反击战

移动互联网和社交媒体的兴起，新生代用户习惯的改变，加上人工智能技术的突飞猛进，让谷歌头一次感到了实质性危机。当谷歌自身难保时，它还会继续做那个慷慨的引路人吗？

如今的谷歌，正处在这样一个自顾不暇的关头：用户开始流失、搜索广告触及天花板，AI 对搜索模式潜在的颠覆令谷歌倍感压力。既然形势不妙，谷歌当然要优先稳住自己的基本盘——宁可牺牲部分生态的繁荣，也绝不能让自己先倒下。具体来说，就是想方设法把流量留在谷歌自己的体系内，尽量减少用户跳到第三方生态的可能。

2025年，谷歌在自家搜索结果中大量加入AI概要、知识面板等直观答案，用户往往无需点击外部链接即可获取信息。在提供便利的同时，这种做法也减少了用户访问第三方网站的机会，被业界称为搜索流量与站点访问的“大脱钩（great decoupling）”

这一策略很快反映在了产品上。谷歌在2023 年就开始测试在搜索结果顶部直接生成精华摘要。自 2024年起，谷歌在搜索结果中大量加入了AI 摘要、知识面板等直观答案模块，用户常常无需点击站外链接即可获取信息。仔细观察最近几年的搜索结果页，不难发现谷歌在悄然加固自己的“自留地”。很多时候用户无需点开网页，就能直接从结果页得到想要的信息——要么来自谷歌的知识图谱，要么源于网站抓取的精选摘要。当危机来临，谷歌选择了亲自上阵，把答案直接奉上，不再轻易把用户“送走”。潜台词很明确：宁可所有第三方网站的流量都缩水，也绝不能让用户因为找不到直接答案而离开谷歌。

谷歌的流量自卫还体现在对自家产品的强势导流上。当你搜索附近餐厅，谷歌会优先展示自己的地图和点评；查航班信息，弹出的往往是Google Flights 的直达框；查询天气、股市行情等，谷歌也是直接给出结果，而不把你带去其他专业网站。当年那个甘当他人门户的谷歌，如今更像恨不得大门紧闭、什么都自己解决的巨头。这其中有无奈，也有算计：只要用户不离开谷歌，谷歌就有更多机会通过广告和自家服务把流量变现。面对生存压力，谷歌正拧紧曾经开放的流量阀门，把用户牢牢留在自己掌控的范围内。

近年来，谷歌搜索流量在欧美市场大幅下滑。Semrush的数据显示，2025年5月Google.com主站月活访客尚有约53亿，而到了两个月后，2025年7月，已经骤降至40亿次。最近的反弹，也说明它的流量自留地策略开始生效。

Google.ca流量更是从近4000万跌到不足1000万。很大原因是，为了集中算力以提升搜索体验，谷歌将大量来自加拿大的Query集成到.com主站解决，.ca站成为祭品。

4. 视频平台的寓言：站长与用户之间的断裂

为了更直观地理解搜索生态的变化，我们不妨打个比方：把谷歌搜索当作一个视频网站，把网站站长比作平台上的内容创作者（UP主），用户则是观众。过去，UP 主内容做好了，观众就会被吸引过来，播放量直接带来广告收入。然而现在，谷歌的问题不在内容供给，而在于观众被分流走了。大批观众涌向了其他“舞台”（短视频平台、AI助手等），而谷歌做了什么呢？它改版了产品：把UP 主的视频全集剪辑进自己的整合精选，观众在平台首页上就看完了所有精彩片段，自然不会再点进UP 主的主页。谷歌为了留住用户已经竭尽所能，但这种改变让站长们愤怒又无奈——AI 成了新的剪辑师，替代了用户逐一点击原始内容的需求。

对于用户来说，各类生成式AI 工具简直人人称道。ChatGPT 的爆红以及各种 AI 助手的普及，让人们可以直接向机器发问并获得对话式的解答。这些 AI 快捷又贴心，几乎挑不出毛病——无论问什么都能立即给出整理好的结论。但这里潜藏着的危机就是：当 AI 把答案直接奉上时，谁还会再去点开这些答案背后的原始网站呢？

结果出现了吊诡的一幕：谷歌面临的问题是年轻观众在逃离传统搜索；AI 面临的问题则是砸了“创作者”的饭碗（用户拿到了答案，站长却失去了流量）。新的问题接踵而来：如果饿死了那些辛苦耕耘内容的站长和 UP 主，AI 将来又从哪里获取答案和方案？这个问题无比讽刺——AI 系统重组的是人类创作的内容，当它过于高效地满足用户、将流量“截胡”时，受伤的恰恰是创作内容的人类。

更进一步地，思考“剽窃”的定义：“把别人的作品窃为己有”。当绝大多数时候，AI回答都不会注名出处，就像好几位原创画师精心创作的绘画被ai东拼西凑合成了一个新的作品，当它在胡乱引用的时候，它的行为到底是什么？当这种行为侵害的利益足够大的时候，它还能这般举重若轻吗？

5. 算法与广告的角力：当门槛成为新的围墙

面对用户的流失和AI 的冲击，谷歌当然没有坐以待毙。近年来它频繁调整算法，推出了一系列重大举措，搜索排名越来越倾向于高质量内容和权威来源。表面上看这些动作是为了提升搜索体验、打击劣质内容，但业内也有另一种解读：谷歌或许在提高搜索结果的准入门槛。

当几乎所有人都在卷内容质量、拼权威背书时，中小站长想脱颖而出难上加难——尤其各领域巨头一拥而上、铺天盖地生产内容的情况下。大家在内容战场上互相僵持，谁都很难将对方彻底击败，结果就是整体流量增长停滞，只有付费买广告才能另辟蹊径。而对谷歌而言，有机流量放缓？站长掏钱投广告补上——谷歌当然乐见其成。

某种程度上，这是一种互联网版的“围城”策略——把搜索结果的门槛抬高，让缺乏资源的新玩家被拦在门外，同时诱导有实力的玩家掏钱买路。

事实证明，这种策略并非杞人忧天。我之前提到，谷歌搜索结果的前几页往往堆满了广告和各大平台/权威站点的链接，留给小网站的空间被严重挤压。比如用户搜索某商品的“最佳推荐”，首页也许出现三条广告，加上某知名媒体整理的推荐清单，小站根本没有露脸的机会。不少大牌媒体更是通过 SEO 批量炮制各种“最佳XX推荐”文章，霸占大量关键词。独立站长们苦心钻研、实地体验撰写的原创干货，往往敌不过这些高权重网站包装的套路文。当整个搜索结果页被寡头垄断和广告填满，用户体验必然每况愈下——普通用户想找到小众玩家的真知灼见，得翻过一堆千篇一律的商业内容才行。

谷歌对外当然否认流量下滑，声称流量没减反而点击质量提升。可外部分析表明，自2024 年谷歌上线 AI 摘要功能以来，新闻类搜索中“零点击”的比例已经激增了接近七成。这一数据坐实了许多站长的直观感受：谷歌整体流量或许没少，但越来越多的搜索者在结果页上就得到满足后就打道回府。谷歌所谓“点击质量提升”，其实是偷换概念——点击变少了，却说更有价值了。然而对于那些靠点击吃饭的网站来说，再“高质量”的少量点击也填不平流量断崖式下跌的窟窿。

Google官方声明搜索流量没有下滑。BTW，很难想象Google自己的博客系统做的有多么的全面和翔实，瑞斯拜

这时就可以上这张图了：

【是，大臣】政治第一定律，只有官方否认的才可信

更耐人寻味的是，有的网站流量下降的同时，也有一些网站流量在上升。总量没变，只是此消彼长。那么谁在下滑，谁在增长？不言而喻：大平台愈发壮大，小网站节节败退。有研究指出，仅十几家大型公司就控制了数百个知名站点，每月从谷歌获得数十亿次点击——看似百花齐放的搜索结果，流量最终还是流入了少数巨头的口袋。

Glen Allsopp在2024年深入调研后揭示，仅16家母公司就控制了全球至少588个知名站点，每月从谷歌获得约35亿点击。这些巨头覆盖生活的方方面面，几乎每个热门搜索词背后都站着它们的身影。这意味着，看似百花齐放的搜索结果，其实相当一部分流量最终流向了少数巨头的口袋中。图源：Detailed.com；数据源：Semrush

如今的搜索生态，让我不禁产生一个担忧：会不会最后只剩下巨头玩家，和他们源源不断的广告预算？谷歌一手高举E-E-A-T 的大旗，声称重视内容质量和作者权威，但实际效果可能是：多数领域中小网站很难互相击败，更不可能撼动巨头，最后只能花钱买广告来获得可见度。谷歌的营收有了保障，头部垄断地位却更加牢固。一手举着道德的大旗，一手紧抓广告利益，这到底是在提升内容质量，还是在牺牲长尾换取收益？

说实话，上面那张截图我本不想放，因为看了只会让人更加感到深深的绝望——天之道，损有余而补不足。人之道，损不足以奉有余。一个个耳熟能详的巨头网站，他们背后居然还有天龙人。这个世界的财富，究竟已经集中到何种程度了？

6. 搜索生态重构的暗潮：反击、联盟与博弈

面对困境，内容生态各方开始了反击。部分站长和内容平台干脆拒绝AI 爬虫抓取。CDN 巨头 Cloudflare 就号召发起“内容独立日”，允许客户一键屏蔽 AI 爬虫（除非这些爬虫付费回馈）。此举引发强烈反响，不少中小网站纷纷响应。调查显示，全球前 50 大新闻网站中将近一半已在 robots.txt 明确禁止了 OpenAI 的爬虫。“我的内容不是你的免费午餐”。

可以说，Cloudflare在下一盘更大的棋——它并非只想当这个赛博雷锋，而更像是在搭建一个内容交易所，希望自己成为AI时代内容流通的新型中介。手握全球20%互联网流量的过境数据，Cloudflare这一强硬姿态能否真正撼动Google和AI的战略选择，还需要时间来验证。好消息是，前几日，和世界杯、奥运会并成为世界三大运动之一的世界一级方程式赛车，F1官方已正式宣布禁止任何方式的AI爬虫爬取数字内容。不愧是笔者最喜欢的运动赛事啊XD！

第三章 续写故事：浓云密布下的未来畅想

那天我在Reddit 上看到，谷歌现在有多缺广告收入呢？它甚至开始跑去纸质杂志上投放广告了。是的，你没听错，这场景有些倒反天罡——谷歌居然开始在逐渐淡出大众视野的实体杂志上打出“来谷歌打广告”的广告。

但无论风云如何变幻，谷歌母公司Alphabet 家大业大，不会因为搜索流量的起伏就伤筋动骨。更何况谷歌还坐拥全球最多的 Android 用户、近乎垄断的 Chrome 浏览器市场，以及 Gmail、Google Drive、YouTube、Cloud 等覆盖工作生活方方面面的产品矩阵。换句话说，即使搜索引擎不再风光，谷歌这座冰山也有无数露出水面的庞大支柱在支撑。所以，我们更该关心的或许是作为内容创造者的我们自己。

冷峻的现实摆在眼前：即使殚精竭虑做到最好，中小网站依旧难以在激烈竞争中胜过那些专业化运营的行业平台和互联网巨头。内容创业从来不是一条轻松的路，如今更像在巨人的阴影下拼命突围。这一轮变局堪称互联网版的“大洗牌”——财富和流量将加速向头部集中。

在这场洗牌中，谷歌的角色尤其耐人寻味——这家曾被誉为“资本届最有良心”的公司，这一次还能坚守几分初心和底线？目前谷歌在搜索上的一系列动作，透出前所未有的危机感：究竟是它预见到了未来搜索格局的剧变，提前做出的自保选择，还是在 AI 逼宫下的无奈一搏？我们不得而知。但可以肯定，谷歌对内容生态的良心照顾正在经受严峻考验。当年那个宣称“不作恶”的谷歌，如今被质疑正慢慢丢掉道义包袱，变得越来越像一台冷冰冰的利益机器。

再把目光投向AI 的未来。如今让谷歌高度紧张的 AI，将来很可能成为新的垄断力量。一旦 AI 主导了信息分发的入口，它会比谷歌更有良心吗？这个答案恐怕不容乐观。想想 OpenAI 背后的金主微软过去干过的那些事（譬如几年前Windows 未征得用户同意就强制更新，导致大量电脑蓝屏），就足以让人皱眉。如果没有合理的约束与分润机制，AI 对内容源的掠夺只会比传统搜索有过之而无不及。届时内容创造者的处境或许比今天更加艰难，整个信息生态也将面临前所未有的挑战。可以说，谷歌和 AI 之争背后，真正牵动的是所有内容生产者和消费者的命运走向。

然而，AI 自身似乎也并非高枕无忧。OpenAI 新发布的 GPT-5 让许多用户大失所望：有人发现它写文章的“AI味”更浓，水平退化回了 GPT-3.5；回答的问题驴唇不对马嘴，甚至需要精确指出哪个词错了才能明白自己错在哪。这不禁令人猜测：OpenAI 是不是快撑不住庞大的算力开销，不得不在模型用量上让步？如果连AI 领跑者都后劲不足，我们又怎能指望 AI 主导的信息入口会比谷歌更加良心、更可持续呢？别忘了在这场“双虫记”中，Google是一直在边打边赚钱的，而GPT则一直在靠烧投资人的钱打这场仗。如果它打赢了？不敢想，根本不敢想啊兄弟。

流量格局剧变之下，各类内容创作者也在寻找不同的出路。一部分头部媒体和品牌网站寄望于提升自身的权威性，成为AI 肯引用的“可信来源”。我给它起名叫平台思维。例如，有媒体集团将旗下多个子站合并，打造超大型站点，借助更雄厚的内容实力与权威背书来提高自己被AI 摘要引用的概率。他们相信，未来 AI 模型会更偏爱抓取“名门正派”的内容来源，因此想方设法让自己跻身内容领域的头部，以确保在 AI 时代依然拥有曝光度。

“小而美”的独立创作者们则选择另一条道路：与其追逐平台流量，不如深耕垂直领域，经营铁杆粉丝。我给它起名叫产品思维。比如，一些独立博客通过订阅制、Telegram 群、付费社区等方式深度连接忠实读者。哪怕用户规模不大但忠诚度高，不受搜索算法左右，创作者反而获得了稳定的收入。这种“读者直达”模式让创作者摆脱了对大平台流量的依赖——即使搜索引擎屏蔽了他们，老用户还是会自己找上门来。

而介于上述两者之间的大量中层网站，日子则愈发艰难。我给它起名叫流量思维。没有顶级品牌的护城河，又缺乏死忠粉社群，他们最容易在搜索引擎和AI 算法的夹缝中被淘汰。有人将未来的内容生态形容为“M”型结构：头部“大而不能倒”，小众各有生机，中间平庸无奇者最危险。这无疑给所有内容从业者敲响了警钟：过去那种唯流量至上的时代或许正在终结，取而代之的是重新衡量用户的信任度和内容的差异化价值。

在这浓云密布的时刻，我们每一个站长、创作者其实都站在十字路口。一方面要清醒地认识到大势所趋：搜索引擎的游戏规则已经改变，流量分发正变得愈发集中且难以预测；但另一方面也无须就此气馁放弃。乱局之中往往孕育新的机会——这场搜索生态的重构尚未尘埃落定，真正的答案还需要时间去书写。平台在变，但人们对真实、有价值内容的需求永远不会消失。正如谷歌一位副总裁所言，用户开始追求“真实的声音”——这既是对千篇一律机器人摘要的反击，也是小众优质内容的春天。我们能看到谷歌在尝试调整，比如在搜索结果中增加Reddit 等论坛内容，强调真实讨论的重要性。这从侧面说明：再强大的算法，也无法忽视人们对优质、多元内容的渴望。

前路虽充满未知，但可以预见：唯有及时转变思路、拓展内容影响力渠道（例如经营自有社区、播客、邮件订阅等），才能在“后搜索时代”站稳脚跟。不论是你的线上触达、还是你提供的产品、服务本身，均需要彻底的打磨，让一切回归本质——解决消费者的问题。没有平台的资本，就不要去做追逐流量的无用功，反而应回归产品思维。让我们拭目以待，在这场争夺战的浪潮中，谁能真正适应变化、乘风破浪——或许，下一个篇章的书写者正是那些在逆境中坚持创新的你我。

站长们失去的流量，会以别的形式归来吗？AI 与内容产业能找到双赢的平衡点吗？欢迎在评论区分享您的看法。