Web agent-ready——当部分受众不再是人类时，什么发生了变化
范围: 三层操作图——发现、引用、执行；当 机器人 和智能体成为受众的一部分时，网站运营者会发生什么变化？决策优先级堆栈。
执行摘要
三层——发现、引用和执行——更好地描述 2026，而不是将一切简化为“带有更多 schema 的 SEO”。这是一个根据现有证据进行测试的操作模型，而不是一个封闭的科学论文。
完整执行摘要
- 网站的流量和受众的一部分是非人类的——爬虫、机器人，以及仍在实验中的代表用户行事的智能体。 供应商 (Imperva) 的遥测数据不是网络普查或人工智能智能体的需求证明。
- 三个不同的工作——发现、引用和执行——可以更好地组织优先级和预算，而不是把所有事情都视为“更多 schema 的 SEO”。对于Google来说，针对Search中的AI功能进行优化仍然是SEO：没有特殊的markup或对llms.txt的要求。
- 引用不是访问：出现 AI 摘要时点击率下降 (Pew)，出版商 报告 referral 和 zero-click (Digiday) 面临压力。智能体执行 (WebMCP) 是 origin trial 和社区草案 - 观看，不要押注预算。
系统图与关系
受众: 网站管理者和所有者、构建者、技术编辑和运营者。
范围之外
- Markdown 和 chrome HTML 的格式详细比较、协商位于专门的表示档案中。
- SEO 与 GEO、CTR 和 zero-click 的更深入辩论位于 SEO 与 GEO 的专门档案中；通过 WebMCP 的执行仍被分隔，未实现。
网站受众（人+爬虫+机器人+，实验性的，智能体）
↓
发现 — 爬行、索引、snippet 资格/AI 功能（与 SEO 的基础相同）
↓
引用 — 在生成式回答中检索和综合，并标注归属（不是 ranking 的位置）
↓
执行 — 智能体通过 WebMCP 在网站上调用操作（origin trial / 社区草案）
↓
跨层：表示（HTML 语义/a11y、Markdown 协商）服务于发现和引用
↓
优先级堆栈：SEO 基础 → 干净的表示 → crawl 策略 → 实际 KPI → 执行观察专项档案
DATA
每条论断都注明来源、测量语境、局限与置信度。
DATA · fact
WA-OV-D01 · 谷歌：Search中的AI优化仍然是SEO
Google Search Central生成式AI能力指南指出，针对这些能力的优化就是针对Search的优化，在与ranking相同的核心质量体系下；将依赖 llms.txt 或特殊 AI markup列为错误，将内容分成块或仅为智能体重写文本；生成人工智能功能不需要结构化数据。
局限
DATA · fact
WA-OV-D02 · 人工智能功能的资格不需要额外的技术要求
Google Search Central 的“AI 功能和您的网站”文档指出，除了被索引和符合 snippet 的资格之外，没有其他技术要求，并建议以文本形式保留重要内容。
局限
DATA · fact
WA-OV-D03 · People-first和通常的技术要求扩展到AI Overviews
Search Central Blog 的《Succeeding in AI search》文章重申，people-first 建议、页面体验和 Search 标准技术要求（爬行、索引、snippet 资格）扩展到 AI Overviews 和 AI Mode；结构化数据仅在与可见内容匹配时才有用。
局限
DATA · fact
WA-OV-D04 · Chrome 描述了“智能体网络”的两个阶段
Chrome for Developers 博客“让您的网站智能体就绪的开发人员工具包”分为两个阶段：搜索智能体（searching，SEO 的基本原理继续适用）和直接使用网站的智能体（使用，重点关注可访问性树、布局稳定性和 WebMCP）； Lighthouse Agentic Browsing 分数被视为 信息性指标，但模式仍然出现。
局限
- 浏览器实现语言，不是 Search 标准，也不是分层模型的科学证明。
DATA · fact
WA-OV-D05 · W3C TAG 讨论 Web 架构中区分人类、机器人 和智能体
W3C 技术架构小组在伦敦举行的 2026 年 3 月会议上记录了一场关于 Web 架构应如何区分人类、机器人 和代表用户行事的智能体的讨论——这是一场持续的争论，帖子中没有发布最终结果。
局限
- 正在进行的机构讨论；这不是 W3C 的封闭结论。
DATA · estimate
WA-OV-D06 · Imperva 记录了高于人类的自动化流量，但有警告
Imperva 的坏机器人 2025 报告基于 2024 供应商自己的网络，记录的自动化流量（51%）超过人类流量（49%），其中 37% 被归类为恶意机器人，14% 被归类为“良好”机器人。
局限
- 这不是一个独立的网络人口普查；这是安全供应商的网络样本。
- “自动化”并不等同于“人工智能智能体”；不单独代表普通 爬虫 和 抓取工具 用户行事的智能体。
DATA · fact
WA-OV-D07 · Content negotiation 是标准的HTTP机制
MDN 将 HTTP 中的 content negotiation 描述为在同一 URI 上提供同一资源的不同表示的机制：客户端发送 Accept 标头，服务器相应地响应，并用 Vary 标记缓存。
局限
DATA · fact · estimate
WA-OV-D08 · Vercel和Fastly文件通过协商向智能体提供Markdown
Vercel 文档通过 Accept 在同一 URL 上为 Markdown 和 HTML 提供服务：text/markdown（重写 + 路由处理程序）； Fastly 描述了从 AI 或 Accept 请求向浏览器提供 HTML 以及从 Markdown 向 爬虫 提供服务：text/markdown 和 Vary，估计 Markdown 中的典型文章，其中 20–30% 的大小相当于 HTML 的大小。
局限
- Fastly 大小估计是一个说明性案例，而不是网络平均值。
DATA · estimate · comparison
WA-OV-D09 · Markdown 协商的采用仍然很少
Checkly 测得，受测的 7 个编程智能体中只有 3 个发送 Accept 请求 text/markdown；Cloudflare 的 Agent Readiness 博客引用的 Radar snapshot 发现，在扫描的高流量网站样本中，仅 3,9% 支持 Markdown 协商（Accept: text/markdown）。
局限
- 小而具体的样品；他们不衡量整个网络或所有现有智能体。
DATA · estimate
WA-OV-D10 · 未读取已发布的 llms.txt 文件中的 97%
Ahrefs 的一项研究以约 13.7 万个网站为样本，发现已发布的 llms.txt 文件中的 97% 在分析的月份内没有收到任何请求。
局限
- 它并不能衡量每个现有人工智能智能体或未来时期的意图。
DATA · estimate
WA-OV-D11 · 定义 GEO 的论文报告在实验室环境中增益“高达 40%”
Aggarwal 等人定义术语 GEO（生成引擎优化）的论文报告了在作者自己的实验环境中，特定的 pipeline（Google 的顶级 5 由 GPT-3.5 样式模型重新处理）的可见性相对增益“高达 40%”，而不是在公共 ranking 产品中。
局限
- 它不是公共 ranking API 或业务回报预测。
DATA · fact
WA-OV-D12 · ChatGPT search 通过归属进行检索与综合，无需公共 scoreboard
OpenAI 将 ChatGPT search 描述为一种工具，可以搜索网络并返回带有源链接的答案，并带有源侧边栏；该文档没有发布公开引用位置记分板。
局限
DATA · estimate
WA-OV-D13 · 当人工智能摘要出现时，点击率下降
Pew Research Center 在相关分析中发现，当人工智能摘要出现在 Google 结果中时，有机链接点击率约为 8%，而当人工智能摘要未出现时，有机链接点击率约为 15%；只有大约 1% 的用户点击了摘要本身内的链接。
局限
- 相关性；没有建立普遍的因果关系。
DATA · fact
WA-OV-D14 · OpenAI区别于机器人实时训练、搜索和使用
OpenAI 的 爬虫 文档区分了 GPTBot（训练）、OAI-SearchBot（搜索索引）和 ChatGPT-User（实时用户搜索），每个角色都有单独的 ro机器人.txt 控件。
局限
DATA · estimate
WA-OV-D15 · AI 爬虫主导边缘供应商 观察到的 AI 机器人流量
Fastly（威胁洞察 research）表示，AI 的 爬虫 占其期间分析中观察到的 AI 机器人流量的近 80%。
局限
- 来自 供应商 的网络样本，而不是网络普查。
DATA · fact
WA-OV-D16 · WebMCP 是 Chrome 中的 origin trial 和 W3C 中的 Draft Community Group Report
Chrome for Developers 文档将 WebMCP 描述为 Chrome 149 中的 origin trial 中提出的，具有相关限制 - 需要开放的浏览器上下文，无法在无界面（headless）环境中运行，并且发现功能需要直接访问网站； W3C Web 机器学习社区组草案明确指出它是 Draft Community Group Report，而不是 W3C 标准，也不是 Standards Track 的一部分。
局限
- 实验提案；它不是一个稳定的跨浏览器标准。
DATA · estimate · comparison
WA-OV-D17 · Publishers 报告来自 referral 和 zero-click 的与 AI 相关的压力
Digiday 的报告引用了 Digital Content Next (DCN) 的数据，报告了与 AI Overviews 相关的 出版商（范围从 -1% 到 -25%）之间来自 Google 的年同比中位推荐流量约为 -10%；另一份来自 Digiday 的报告援引 Similarweb 的话说，zero-click 的新闻搜索量从 56% 左右上升到 69%，人工智能平台的流量不断增长，但并没有抵消这一损失。
局限
- 针对特定群体的专业新闻报道；没有建立普遍的因果关系，也没有推广到每个出版商。
DATA · estimate
WA-OV-D18 · 生成搜索引擎中的 引用 recall很脆弱
2023 年的一项研究（Liu 等人）在评估的生成搜索引擎中测量了围绕 51,5% 的每个句子的 recall 引用——在所研究的 snapshot 中，近一半生成的句子没有足够的可验证引用。
局限
- 特定时刻的Snapshot；从那时起，评估机制可能发生了变化。
INFO
INFO · 派生综合
WA-OV-I01 · 三层组织“SEO 与 schema”崩溃的作业
发现、引用和执行当一切都被视为“SEO 和更多 schema”时隐藏的单独的不同工作、证据和 KPI； Chrome 的阶段性表述（searching/using）和 W3C TAG 的架构讨论（人类/机器人/智能体）支持行业词汇，但没有证明该模型是科学的——它仍然是一个经过证据检验的编辑假设。
derivedFrom: WA-OV-D01, WA-OV-D02, WA-OV-D04, WA-OV-D05, WA-OV-D11, WA-OV-D12, WA-OV-D16
INFO · 派生综合
WA-OV-I02 · 发现层依据常规基础确定资格，而不是特殊 markup
Discover 层由与 Search 相同的核心质量系统和 ranking 覆盖：snippet 索引和资格，具有 people-first 内容 - 没有特殊的 AI markup，没有 llms.txt 要求，也没有完美 HTML 的要求。
INFO · 派生综合
WA-OV-I03 · 引用层有实验室方法和记录的用户体验，不公开 scoreboard
Cite层结合了实验室方法（GEO）和记录的归因UX（来源），但没有公共引用位置排行榜；引用不等于访问——AI摘要点击率下降，出版商报告来自referral/zero-click的压力，引用本身的质量很脆弱。
derivedFrom: WA-OV-D11, WA-OV-D12, WA-OV-D13, WA-OV-D17, WA-OV-D18
INFO · 派生综合
WA-OV-I04 · 清晰的表述是跨领域的，但采用协商式 Markdown 的情况仍然很少
提供干净的表示（content negotiation HTTP、HTML 语义、Markdown（当堆栈支持时））对于发现和引用很有用，但仍然是例外：今天很少有智能体要求 Markdown，并且扫描的大多数高流量站点不会响应 Accept：text/markdown。
INFO · 派生综合
WA-OV-I05 · 执行（WebMCP） 仍处于实验阶段且不在关键 roadmap 中
WebMCP是Chrome中的origin trial和W3C中的Draft Community Group Report，有相关操作限制；今天应该对执行层进行观察，而不是指导预算。
derivedFrom: WA-OV-D16
INFO · 派生综合
WA-OV-I06 · 决策优先级堆栈
证据支持优先顺序：（1）SEO 的基础和内容 people-first； (2) 干净的表述； (3) crawl 将训练 机器人 与搜索/引用 机器人 分开的政策； (4) Search Console 真实指标、流量和机器人字节数，而不是基于 llms.txt 的虚荣指标； (5) 智能体人的执行作为观察，而不是 roadmap 的赌注。
derivedFrom: WA-OV-D01, WA-OV-D02, WA-OV-D03, WA-OV-D07, WA-OV-D10, WA-OV-D13, WA-OV-D14, WA-OV-D15, WA-OV-D16
INFO · 派生综合
WA-OV-I07 · llms.txt 的“AI 存在”KPI 较弱
Google 不需要 llms.txt 来实现 Search 中的 AI 功能，并且大多数发布的文件永远不会被读取 - 发布 llms.txt“因为每个人都有它”并不是优先级或结果的可靠指标。
INFO · 派生综合
WA-OV-I08 · 自动化流量压力crawl政策和成本，并不能证明执行需求
供应商 对自动流量（带警告）和 爬虫 在机器人流量中的 AI 份额的遥测驱动了 crawl 策略和带宽/源成本大小 — 不能证明智能体已准备好在站点上执行操作，也不能证明优先考虑 WebMCP 是合理的。
不确定性
不确定性 · não mensurado publicamente
WA-OV-UNC-01 · 三层模型是否改善了预算决策
我们已知的: 三层模型组织了工作和证据，但没有使用研究或编辑测试来确认它是否在实践中改善了预算决策，或者只是组织了叙述而不改变结果。
局限
编辑处理: 将模型视为根据现有证据进行检验的工作假设，而不是封闭的或经过科学证明的框架。
置信度: high na lacuna
最近审核: 2026-08-07
不确定性 · não documentado publicamente
WA-OV-UNC-02 · 支持 AI 响应中的链接选择标准
我们已知的: Google 记录了 Discover 层的资格（索引 + 符合 snippet 的资格），但它没有发布用于选择支持生成 AI 功能的链接的确切标准列表。
局限
编辑处理: 不要发明引用因素列表；将链接选择视为记录的差距。
最近审核: 2026-08-07
不确定性 · sem previsão pública
WA-OV-UNC-03 · 当WebMCP不再是实验性的
我们已知的: WebMCP 在 Chrome 中为 origin trial，在 W3C 中为 Draft Community Group Report；目前还没有成为 Standards Track 或稳定的跨浏览器标准的公开时间表。
局限
编辑处理: 保持执行层处于观察状态，直到责任机构自己记录状态变化。
最近审核: 2026-08-07
不确定性 · não mensurado publicamente
WA-OV-UNC-04 · 将合成的“人工智能可见性”转化为真实结果
我们已知的: 目前还没有公开研究将综合“AI 可见度”指标（例如第三方工具的分数）转换为 出版商 的实际展示次数、点击次数或收入。
局限
编辑处理: 更喜欢第一手指标（Search Console、流量、转化），而不是没有方法透明度的“引文分数”仪表板。
最近审核: 2026-08-07
不确定性 · não desagregado publicamente
WA-OV-UNC-05 · “自动化”流量的实际构成
我们已知的: 诸如 Imperva 之类的遥测不会在分类为自动化的流量中区分哪一部分是代表用户行事的智能体，哪一部分是 crawler 或常见的抓取工具。
局限
编辑处理: 请勿使用自动流量参与作为智能体就绪的证明或“智能体存在”的预算。
最近审核: 2026-08-07
方法论
- DATA
- DATA 记录具有明确来源、测量背景、限制和信任的可验证声明。
- INFO
- INFO 记录合成或解释，并始终声明其派生的声明的 ID。
- 不确定性
- 不确定性将差距记录为编辑结果；它仍然是明确的，并且没有充满脆弱的估计。
- 更新
- 修订只能纠正或更新来自具有编辑授权的规范档案的预测；重大更改会增加公共版本并记录在更正记录中。
- 公开版本
- 1.0.0
- 最近核验
- 2026-08-07
- 复审时间
- 2026-09-06
公开更正
- 暂无公开更正记录。
参考文献
-
src-wa-google-ai-optimization-guide· Google Search Central — Optimizing your website for generative AI features on Google Search. Google. 访问日期 . -
src-wa-google-ai-features-website· Google Search Central — AI features and your website. Google. 访问日期 . -
src-wa-google-succeeding-ai-search· Google Search Central Blog — Succeeding in AI search. Google. 访问日期 . -
src-wa-chrome-agent-ready-toolkit· Chrome for Developers — A developer toolkit to make your website agent-ready. Chrome for Developers. 访问日期 . -
src-wa-w3c-tag-london-2026· W3C — The W3C TAG Meeting in London, March 2026. W3C. 访问日期 . -
src-wa-imperva-bad-bot-2025· Imperva — 2025 Bad Bot Report. Imperva. 访问日期 . -
src-wa-mdn-content-negotiation· MDN — Content negotiation. MDN. 访问日期 . -
src-wa-vercel-docs-for-agents· Vercel — How to serve documentation for agents. Vercel. 访问日期 . -
src-wa-fastly-markdown-agents· Fastly — Give AI Agents the Markdown They Actually Want. Fastly. 访问日期 . -
src-wa-checkly-content-negotiation-2026· Checkly — The Current State of Content Negotiation for AI Agents. Checkly. 访问日期 . -
src-wa-cloudflare-agent-readiness· Cloudflare — Introducing the Agent Readiness score. Cloudflare. 访问日期 . -
src-wa-ahrefs-llmstxt-study· Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read. Ahrefs. 访问日期 . -
src-wa-arxiv-geo-2311-09735· Aggarwal et al. — GEO: Generative Engine Optimization. arXiv. 访问日期 . -
src-wa-openai-chatgpt-search· OpenAI — Introducing ChatGPT search. OpenAI. 访问日期 . -
src-wa-pew-ai-summary-ctr-2025· Pew Research Center — Google users are less likely to click on links when an AI summary appears in the results. Pew Research Center. 访问日期 . -
src-wa-openai-crawlers-docs· OpenAI — Crawler / bot documentation. OpenAI. 访问日期 . -
src-wa-fastly-ai-crawlers-press· Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic. Fastly. 访问日期 . -
src-wa-chrome-webmcp-docs· Chrome for Developers — WebMCP. Chrome for Developers. 访问日期 . -
src-wa-w3c-webmcp-cg-draft· W3C Web Machine Learning Community Group — WebMCP API (Draft Community Group Report). W3C WebML CG. 访问日期 . -
src-wa-digiday-dcn-referral-drop· Digiday — Google AI Overviews linked to publisher referral traffic drops, new data shows. Digiday. 访问日期 . -
src-wa-digiday-similarweb-zero-click· Digiday — In graphic detail: AI platforms are driving more traffic, but not enough to offset zero-click search. Digiday. 访问日期 . -
src-wa-arxiv-verifiability-2304-09848· Liu et al. — Evaluating Verifiability in Generative Search Engines. arXiv. 访问日期 .