跳转到正文
作者 NiLu 更新于

Web agent-ready——当部分受众不再是人类时，什么发生了变化

发现、引用与执行三层框架，梳理机器人和智能体读取网站时的变化、优先级与明确边界。

摘要

  • 到达网站的部分流量一直是自动化的；变化在于，其中一部分现在也会生成 AI 回答，并且仍处于实验阶段地代表用户采取行动。
  • 发现、引用和执行是三项不同的工作；与其把一切当作“更多 schema 的 SEO”，这样划分更能确定优先级。
  • 对 Google 而言，为 Search 的 AI 功能优化仍然是 SEO：不需要特殊 markup，也不以 llms.txt 为前提。
  • 由智能体执行操作（WebMCP）仍属实验性，今天不应据此安排预算。

部分受众不是人类

并非网站的每位访客都是在浏览器中阅读的人。部分流量一直来自爬虫和自动化工具；变化在于，其中一部分现在也用于在带有 AI 的搜索工具中组织回答，并且仍处于实验阶段地直接代表用户行动。Chrome for Developers 将这种变化描述为“智能体网络”的两个阶段：进行搜索的智能体（searching，SEO 基础仍然有效）以及直接使用网站的智能体（using，涉及无障碍树、布局稳定性，以及最终的 WebMCP）。[1] W3C Technical Architecture Group 在 2026 年 3 月的一次会议上讨论了如何在 Web 架构中区分人类、机器人和代表用户行动的智能体——这仍是进行中的讨论，文章没有发布确定结论。[2]

一个常被用来说明这种变化的数字来自 Imperva 的 2025 Bad Bot 报告。该报告基于供应商 2024 年自己的网络，记录到自动化流量（51%）超过人类流量（49%），其中 37% 被归类为恶意机器人，14% 为“良性”机器人。这是安全供应商针对自身客户群的遥测数据——不是对全网的普查——“自动化”也不等同于“AI 智能体”。应将这个数字用于支持爬取策略和机器人监控，而不是为“智能体中的存在感”编列预算。[3]

三层：发现、引用、执行

将通常被打包为“面向 AI 的 SEO”的三项工作分开很有帮助：

  • 发现——被抓取、索引，并有资格出现在搜索功能中，包括由 AI 生成的功能。
  • 引用——在生成式回答中作为证据使用，并附带链接和归属。这不同于占据稳定的排名位置。
  • 执行——智能体直接调用网站上的操作（填写表单、购买、预约）。目前仍属实验性。

对于发现层，Google Search Central 的生成式 AI 功能指南指出，这些功能依托于 Search 相同的核心质量与排名系统，不存在专门的 AI markup，也不要求 llms.txt 文件——为其优化仍是为 Search 优化。文档“AI features and your website”进一步说明，除被索引且有资格获得 snippet 外，没有其他技术要求。[4] [5]

对于引用层，生成式引擎会检索内容并综合出带归属的回答——OpenAI 对 ChatGPT search 的描述便是如此，其中有来源侧边栏。[6] 目前不存在与搜索排名等价的、公开的“引用位置”记分板。

执行层依赖 WebMCP。它仍是 Chrome 中的 origin trial（从第 149 版起），并由 W3C Web Machine Learning Community Group 作为 Draft Community Group Report 记录——明确地说，它不是 W3C 标准，也不在成为标准的路径上。它有重要限制：需要打开的浏览器上下文，无法在无界面（headless）环境中运行，并且能力发现要求直接访问网站。[7] [8]

为什么不只是“更多 schema 的 SEO”

同一份 Google 指南将依赖 llms.txt、特殊 AI markup、为 AI 将内容切成“chunks”或仅为智能体重写文本列为应避免的误区。结构化数据在与可见内容相符时仍然有用——但不是获得引用的捷径。[4] Search Central Blog 的文章“Succeeding in AI search”将同样以人为先的建议和一贯的技术要求（抓取、索引、snippet）延伸到 AI 生成的回答。[9]

这并不否定将发现、引用和执行分开——只是避免把这张地图变成已被证实的科学。Chrome 的“searching vs. using”以及 TAG 的“humans, bots, agents”措辞支持这套词汇，但它属于实现者和架构语言，并不能证明这种模型是描述 2026 年的最佳方式。我们将这三层视为根据现有证据检验的工作假设——而不是封闭的框架。[1] [2]

首先应优先处理什么

  • SEO 基础——抓取、索引、获得 snippet 的资格，以及以人为先的内容。这是出现在任何 AI 搜索功能中的有文档依据的基础。[4] [5]
  • 干净的表示形式——语义化 HTML，以及与菜单和页脚清晰区分的主要内容；当技术栈支持时，协商 Markdown（Accept: text/markdown）是一项补充能力，而非 Search 的要求。
  • 爬取策略——区分训练机器人与搜索/引用机器人。OpenAI 区分 GPTBot（训练）、OAI-SearchBot（搜索索引）和 ChatGPT-User（用户实时搜索）；Anthropic 说明了如何阻止其爬虫。[10] [11] 边缘服务商报告称，AI 爬虫已经占自身网络所观测机器人流量的显著部分——Fastly 在其分析中称接近 80% 的 AI 机器人流量；应使用这类数字估算带宽和源站成本，而不是当作全球网络统计。[12]
  • 真实指标——Search Console（包括在可用时的 gen-AI 功能展示报告）、会话与转化——而非因为“所有人都有”就发布 llms.txt。一项涵盖约 13.7 万个网站的 Ahrefs 研究发现，97% 已发布的 llms.txt 文件在所分析月份没有收到任何请求。[13]
  • 执行（WebMCP）——观察但不投入预算；它仍是 origin trial 和社区草案。

炒作在哪里

定义 GEO（Generative Engine Optimization）一词的论文报告了“最高 40%”的相对可见性提升——但那是在作者自己的实验环境中，使用特定管线（由 GPT-3.5 风格模型重新处理的 Google top-5），并非公开的排名产品。这是方法的证据，不是商业回报预测。[14]

即使内容被引用，也不等于获得一次访问。Pew Research Center 在相关性分析中发现，当 Google 结果中出现 AI 摘要时，用户点击自然链接的比例约为 8%，而未出现时约为 15%；只有约 1% 的用户点击摘要内的链接。[15] Digiday 引用 Digital Content Next 数据的报道指出，出版商来自 Google 的引荐流量中位数同比约为 -10%（案例之间差异很大），与 AI Overviews 相关；另一篇引用 Similarweb 的报道指出，新闻搜索中的 zero-click 从约 56% 升至 69%，来自 AI 平台的流量增长不足以弥补这一下降。这些是针对特定群组的专业媒体数据——可作为经济压力的信号，而非普遍的因果证明。[16] [17]

引用本身的质量也很脆弱：2023 年的一项研究（Liu et al.）在所评估的生成式搜索引擎中测得每句引用 recall 约为 51,5%——在研究快照中，近一半生成的句子没有恰当、可验证的引用。[18]

不确定性

  • 尚不清楚三层模型是否确实有助于做出更好的预算决策，还是只组织了叙述而没有改变结果。
  • 没有公开列表说明 Google 用什么确切标准选择出现在 AI Overviews 中的支持链接。
  • 尚不清楚 WebMCP 何时（或是否）会脱离 origin trial / 社区草案，并成为跨浏览器的稳定标准。
  • 在 Imperva 等“自动化”流量数据中，无法区分有多少是代表用户行动的智能体，有多少是普通爬虫或抓取工具。
  • 没有公开研究将合成的“AI 可见性”指标转化为出版商实际的展示、点击或收入。

参考资料

  1. Chrome for Developers — A developer toolkit to make your website agent-ready. Chrome for Developers. 访问于 2026 年 8 月 7 日。
  2. W3C — The W3C TAG Meeting in London, March 2026. W3C. 访问于 2026 年 8 月 7 日。
  3. Imperva — 2025 Bad Bot Report. Imperva. 访问于 2026 年 8 月 7 日。
  4. Google Search Central — Optimizing your website for generative AI features on Google Search. Google. 访问于 2026 年 8 月 7 日。
  5. Google Search Central — AI features and your website. Google. 访问于 2026 年 8 月 7 日。
  6. OpenAI — Introducing ChatGPT search. OpenAI. 访问于 2026 年 8 月 7 日。
  7. Chrome for Developers — WebMCP. Chrome for Developers. 访问于 2026 年 8 月 7 日。
  8. W3C Web Machine Learning Community Group — WebMCP API (Draft Community Group Report). W3C WebML CG. 访问于 2026 年 8 月 7 日。
  9. Google Search Central Blog — Succeeding in AI search. Google. 访问于 2026 年 8 月 7 日。
  10. OpenAI — Crawler / bot documentation. OpenAI. 访问于 2026 年 8 月 7 日。
  11. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic. 访问于 2026 年 8 月 7 日。
  12. Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic. Fastly. 访问于 2026 年 8 月 7 日。
  13. Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read. Ahrefs. 访问于 2026 年 8 月 7 日。
  14. Aggarwal et al. — GEO: Generative Engine Optimization. arXiv. 访问于 2026 年 8 月 7 日。
  15. Pew Research Center — Google users are less likely to click on links when an AI summary appears in the results. Pew Research Center. 访问于 2026 年 8 月 7 日。
  16. Digiday — Google AI Overviews linked to publisher referral traffic drops, new data shows. Digiday. 访问于 2026 年 8 月 7 日。
  17. Digiday — In graphic detail: AI platforms are driving more traffic, but not enough to offset zero-click search. Digiday. 访问于 2026 年 8 月 7 日。
  18. Liu et al. — Evaluating Verifiability in Generative Search Engines. arXiv. 访问于 2026 年 8 月 7 日。