互联网变天：机器人流量首次反超人类，Agent 时代拉开大幕

核心观点

过去半个多世纪，互联网整套技术与商业体系都建立在"服务对象是人"的前提上：网页需要视觉设计、搜索需要排序、内容需要推荐。但 Cloudflare Radar 的最新数据显示，全球 HTML 网页请求里，Bot 流量已达 57.5%，人类只剩 42.5%——这是互联网有史以来第一次，机器访问超过了人类。

Cloudflare CEO Matthew Prince 在 X 上感慨："Welp, that happened faster than I predicted." 三个月前他在 SXSW 上还预测 Bot 超过人类大概要到 2027 年底。

关键数据

1. Bot 超过人类不是终点，而是开场

Bot 不是新东西——搜索引擎爬虫、安全扫描、价格监控早就是互联网暗流。今天真正变化的，不是"有 Bot 了"，而是 Bot 的角色变了。

• 过去的 Bot 为系统服务：抓取、索引、监控，任务清晰，边界稳定
• 现在的 Bot 代表人的意图行动：购物 AI 会比价 + 筛差评 + 核优惠 + 结账；旅行 Agent 会查机票 + 比酒店 + 查库存 + 预订；研究 Agent 能连开几十个网页交叉验证后产出报告

传统爬虫是"读网页"，Agent 是"使用网页"。 前者是读者，后者是代理。

2. 8000% 增长背后：从阅读走向行动

HUMAN Security 2026 AI Traffic 报告显示，训练爬虫占比正在下降，而 AI scrapers 增长了 597%，agentic browsers 流量同比暴涨 7,851%。

AI 访问互联网的动机已经三次跃迁：

1. 早期：抓内容进训练语料池
2. AI 搜索期：实时抓取做摘要
3. Agent 期：把网页变成任务的一环——网页不再是信息源，而是操作界面

这也是为什么 AI 流量高度集中在零售电商、流媒体与媒体、旅游和酒店三个行业：信息高度结构化、变化频繁、且直接连接交易。

3. 网站最怕的不再是"没人来"

过去网站最怕没流量；现在的问题变了——有大量访问，可来的不是人。

机器读完网页，提取重点，把结果直接呈现在 ChatGPT、Perplexity 等入口里。用户得到了答案，但未必点击原网页。内容被消费了，流量却没有回来。

这正是 Cloudflare 推出 Pay Per Crawl（按爬取付费）引发热议的原因——本质是在给"机器访问内容"重新定价。过去互联网的账本按人记：UV、PV、DAU、转化率，全默认访问者是人。一旦机器成为主要访客，这套账本就开始失灵：机器能创造访问量，却不一定创造广告价值；能消耗内容，却不一定带来品牌认知。

4. 入口从搜索框，转向模型和 Agent

入口控制权也在转移。报告显示 AI 流量高度集中在少数平台：

• OpenAI 相关 bots：约 69%
• Meta：约 16%
• Anthropic：约 11%

PC 时代网站争夺 Google 入口，移动时代争夺 App 和信息流，Agent 时代的入口，正集中到少数模型公司手里。用户不再自己开十个网页比较，而是问模型一句话，由模型替他筛选、压缩甚至执行。

网站面对的不再只是 SEO，而是新问题：

• 我的网页 Agent 读懂吗？
• 信息模型能信任吗？
• 服务机器能调用吗？
• 内容被消费后能获回报吗？

未来很多网站会演变成双层结构：一层给人看，争夺注意力；一层给 Agent 读，争夺机器可用性。

5. 流量主体转变背后的三层变化

当互联网流量主体从人变成 Agent，随之带动三个深层变化：

1. 网页变了：从供人阅读的信息源 → 供机器执行的操作界面
2. 价值变了：从基于人类注意力的变现 → 基于机器调用的定价
3. 入口变了：从搜索框的分发 → 大模型的一言而决

结论

57.5% 远不是终点，更可能只是一个开始——互联网正从"人类的浏览场"走向"机器的执行场"。

人依然是意图的源头和价值的终点，但中间的触达、交互与交付，正不可逆地交由 Agent 完成。这场转变不是一夜之间，但它已经发生，而且比所有人预测的都快。