# Web agent-ready——机器表示：HTML、Markdown 与页面 chrome
HTML、协商后的 Markdown 与页面 chrome 如何影响智能体和服务机器人的成本，以及什么是标准、什么仍是假设。
Author: NiLu
Locale: zh
Published: 2026-08-07
Updated: 2026-08-11
Canonical: https://blog.nilu.pro/zh/blog/web-agent-ready-biaozheng/
Markdown: https://blog.nilu.pro/zh/blog/web-agent-ready-biaozheng.md
JSON: https://blog.nilu.pro/zh/blog/web-agent-ready-biaozheng.json
## 摘要
- 智能体和爬虫通常读取 DOM、无障碍树或 Markdown——而不是人类看到的“装饰性”页面。
- 内容协商（Accept: text/markdown）是多家平台实现的标准 HTTP 机制，并非某个供应商的发明。
- 已发布案例中，从 HTML 到 Markdown 的缩减范围约为 ~20% 到 ~99%，但它们是案例，不是全网平均值。
- Markdown 协商仍很少见，也并非每个智能体都会请求；投入前先在自己的流量中测量。
## 目录
- [智能体实际读取什么](#o-que-um-agente-realmente-le)
- [如何提供机器表示形式](#como-servir-uma-representacao-maquina)
- [已发布案例：这有多大影响](#casos-publicados-quanto-isso-pesa)
- [Chrome、成本与机器人流量](#chrome-custo-e-trafego-de-bots)
- [llms.txt：索引还是橱窗](#llmstxt-indice-ou-vitrine)
- [不确定性](#incertezas)
## 智能体实际读取什么
浏览器智能体很少会像人类那样“看见”页面。根据 web.dev，AI 工具在机器表示形式上操作——原始 screenshot、HTML/DOM 和无障碍树——这些形式通常结合使用。无障碍树汇总每个元素的角色、名称和状态，并忽略 CSS 的视觉噪声；因此，同一篇文章建议使用语义化的交互 HTML（`button`、`a`）而非装饰性的 `div`/`span`，采用正确的 `label` 关联以及稳定的布局。[[1]](#ref-1)
Google Search Central 的生成式 AI 功能指南也强化了这一点：语义化 HTML 对人类和屏幕阅读器都是良好实践；不要求完美的 HTML 有效性；浏览器智能体可以使用 screenshot、DOM 和无障碍树。文档本身将面向智能体的准备描述为可选项——“如果有额外时间”再做，而不是要求。[[2]](#ref-2)
## 如何提供机器表示形式
基础机制是普通 HTTP：内容协商（content negotiation）。客户端发送 `Accept` 头表明偏好的格式；服务器选择表示形式，并按 MDN 文档所述通过 `Vary` 向缓存表明这一点。[[3]](#ref-3) 在该机制之上，多家平台记录了相似模式：Vercel 发布了通过 `Accept: text/markdown` 在同一 URL 上提供 Markdown 与 HTML 的指南（rewrites + route handler）；Fastly 描述了一项边缘服务，它向浏览器提供 HTML，向已知 AI 爬虫或明确请求提供 Markdown，并始终按 `Accept` 和 `User-Agent` 变化；Cloudflare 则记录了区域级的等效转换，从 Markdown 正文中移除页眉、导航、页脚和脚本，并在文档末尾保留 JSON-LD。[[4]](#ref-4) [[5]](#ref-5) [[6]](#ref-6)
这些实现都不是行业的唯一标准——它们是由不同供应商应用的同一个想法（content negotiation）。发布静态 Markdown 文件（如 `/index.md`）或 `llms.txt` 索引是另一种策略，例如 Cloudflare Docs for agents 自己的文档就使用了它；它更容易运维，但有随时间推移 Markdown 与规范 HTML“脱节”的风险。[[7]](#ref-7)
## 已发布案例：这有多大影响
出版商报告称，从 HTML 切换到 Markdown 后尺寸显著缩减——但这些是案例研究，不是测得的全网平均值。Cloudflare 在博客文章中引用的一个案例约为 HTML 16.180 个 token 对 Markdown 3.150 个 token（少约 ~80%）[[8]](#ref-8)；Checkly 在其自身文档中测得 HTML 约 615 KB / 180 mil 个 token，对 Markdown 2,3 KB / 478 个 token（少约 ~99,6%）[[9]](#ref-9)；Fastly 则定性地描述，典型文章可压缩到原始 HTML 尺寸的 20–30% [[5]](#ref-5)。
Markdown 协商只帮助会请求它的人：Checkly 测试了七个代码智能体，只有三个（Claude Code、Cursor 和 OpenCode）发送 `Accept` 请求 `text/markdown`——其余四个（Codex、Gemini CLI、GitHub Copilot 和 Windsurf）在所观察的样本中没有优先使用 Markdown。[[9]](#ref-9) Cloudflare Radar 的一个快照在该公司的 Agent Readiness 博文中被引用，测得 `Accept: text/markdown` 协商仅在被扫描的高流量网站中占 3,9%——这是低采用率的瞬时画像，不是稳定基线。[[10]](#ref-10)
## Chrome、成本与机器人流量
页面的“chrome”——菜单、页脚、脚本、装饰——对智能体没有语义价值，但会消耗其一侧的上下文 token，以及网站服务方一侧的带宽字节。边缘网络报告了持续增长的 AI 机器人流量：Fastly 在其 2025 年年中分析中记录到 AI 爬虫占所观测 AI 机器人流量的近 80%（Meta、Google 和 OpenAI 占最大份额），同期普通自动化机器人流量占其自身网络活动的 37%；Akamai 则报告其平台上的 AI 机器人活动同比增长约 300%。[[11]](#ref-11) [[12]](#ref-12)
减少 chrome 理论上可减少每次机器人请求的字节数——但这是一项运营假设，而非已证实的财务回报。由于没有公开研究在表示形式变更前后测量源站/egress 成本，实用建议是在承诺节省前，先在自己的日志中测量字节数、状态和 user-agent。
## llms.txt：索引还是橱窗
`llms.txt` 的作用类似 sitemap 索引，面向已经使用它的工具——Cloudflare 自己就是这样描述的。[[10]](#ref-10) 但 Google Search Central 的官方指南将 `llms.txt` 和特殊 AI markup 列为应避免的误区：它不是出现在 Search 生成式 AI 功能中的要求。一项分析约 13.7 万个域名的 Ahrefs 研究发现，28% 发布了有效的 `llms.txt`，但其中 97% 在所测月份没有收到任何请求；在收到流量的文件中，96% 的请求来自机器人，而不是编辑性阅读。[[13]](#ref-13)
这并不能证明 `llms.txt` 永远没有用；它证明今天发布它很少改变可观察到的结果。应将其作为已使用该格式的工具的一项可选便利，而非优先交付物。
## 不确定性
- 除了 Google/web.dev 的定性论点外，没有公开研究隔离无障碍合规性（WCAG）对智能体任务成功的影响。
- 尚不清楚哪些智能体和爬虫会稳定地发送 `Accept: text/markdown`——Checkly 的样本（7 个中的 3 个）只是一个瞬时画像。
- 没有公开运营数据说明维护与 HTML 平行的静态 Markdown 树的真实成本，包括失配风险。
- 没有公开案例研究以具体数值测量为机器人提供协商 Markdown 前后带宽或源站节省。
## 参考资料
1. [web.dev — Build agent-friendly websites](https://web.dev/articles/ai-agent-site-ux). web.dev. 访问于 2026 年 8 月 7 日。
2. [Google Search Central — Optimizing your website for generative AI features on Google Search](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide). Google. 访问于 2026 年 8 月 7 日。
3. [MDN — Content negotiation](https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Content_negotiation). MDN. 访问于 2026 年 8 月 7 日。
4. [Vercel — How to serve documentation for agents](https://vercel.com/kb/guide/how-to-serve-documentation-for-agents). Vercel. 访问于 2026 年 8 月 7 日。
5. [Fastly — Give AI Agents the Markdown They Actually Want](https://www.fastly.com/blog/give-ai-agents-markdown-they-actually-want). Fastly. 访问于 2026 年 8 月 7 日。
6. [Cloudflare — Markdown for Agents (docs)](https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/). Cloudflare. 访问于 2026 年 8 月 7 日。
7. [Cloudflare — Docs for agents](https://developers.cloudflare.com/docs-for-agents/). Cloudflare. 访问于 2026 年 8 月 7 日。
8. [Cloudflare — Introducing Markdown for Agents](https://blog.cloudflare.com/markdown-for-agents/). Cloudflare. 访问于 2026 年 8 月 7 日。
9. [Checkly — The Current State of Content Negotiation for AI Agents](https://www.checklyhq.com/blog/state-of-ai-agent-content-negotation/). Checkly. 访问于 2026 年 8 月 7 日。
10. [Cloudflare — Introducing the Agent Readiness score](https://blog.cloudflare.com/agent-readiness/). Cloudflare. 访问于 2026 年 8 月 7 日。
11. [Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic](https://www.fastly.com/press/press-releases/new-fastly-threat-research-reveals-ai-crawlers-make-up-almost-80-of-ai-bot). Fastly. 访问于 2026 年 8 月 7 日。
12. [Akamai — AI Bots Threaten Foundation of Web-Based Business Models](https://www.akamai.com/newsroom/press-release/akamai-research-ai-bots-threaten-foundation-of-web-based-business-models). Akamai. 访问于 2026 年 8 月 7 日。
13. [Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read](https://ahrefs.com/blog/llmstxt-study/). Ahrefs. 访问于 2026 年 8 月 7 日。