Web agent-ready——机器表示：HTML、Markdown 与页面 chrome

摘要

• 智能体和爬虫通常读取 DOM、无障碍树或 Markdown——而不是人类看到的“装饰性”页面。
• 内容协商（Accept: text/markdown）是多家平台实现的标准 HTTP 机制，并非某个供应商的发明。
• 已发布案例中，从 HTML 到 Markdown 的缩减范围约为 ~20% 到 ~99%，但它们是案例，不是全网平均值。
• Markdown 协商仍很少见，也并非每个智能体都会请求；投入前先在自己的流量中测量。

智能体实际读取什么

浏览器智能体很少会像人类那样“看见”页面。根据 web.dev，AI 工具在机器表示形式上操作——原始 screenshot、HTML/DOM 和无障碍树——这些形式通常结合使用。无障碍树汇总每个元素的角色、名称和状态，并忽略 CSS 的视觉噪声；因此，同一篇文章建议使用语义化的交互 HTML（button、a）而非装饰性的 div/span，采用正确的 label 关联以及稳定的布局。[1]

Google Search Central 的生成式 AI 功能指南也强化了这一点：语义化 HTML 对人类和屏幕阅读器都是良好实践；不要求完美的 HTML 有效性；浏览器智能体可以使用 screenshot、DOM 和无障碍树。文档本身将面向智能体的准备描述为可选项——“如果有额外时间”再做，而不是要求。[2]

如何提供机器表示形式

基础机制是普通 HTTP：内容协商（content negotiation）。客户端发送 Accept 头表明偏好的格式；服务器选择表示形式，并按 MDN 文档所述通过 Vary 向缓存表明这一点。[3] 在该机制之上，多家平台记录了相似模式：Vercel 发布了通过 Accept: text/markdown 在同一 URL 上提供 Markdown 与 HTML 的指南（rewrites + route handler）；Fastly 描述了一项边缘服务，它向浏览器提供 HTML，向已知 AI 爬虫或明确请求提供 Markdown，并始终按 Accept 和 User-Agent 变化；Cloudflare 则记录了区域级的等效转换，从 Markdown 正文中移除页眉、导航、页脚和脚本，并在文档末尾保留 JSON-LD。[4] [5] [6]

这些实现都不是行业的唯一标准——它们是由不同供应商应用的同一个想法（content negotiation）。发布静态 Markdown 文件（如 /index.md）或 llms.txt 索引是另一种策略，例如 Cloudflare Docs for agents 自己的文档就使用了它；它更容易运维，但有随时间推移 Markdown 与规范 HTML“脱节”的风险。[7]

已发布案例：这有多大影响

出版商报告称，从 HTML 切换到 Markdown 后尺寸显著缩减——但这些是案例研究，不是测得的全网平均值。Cloudflare 在博客文章中引用的一个案例约为 HTML 16.180 个 token 对 Markdown 3.150 个 token（少约 ~80%）[8]；Checkly 在其自身文档中测得 HTML 约 615 KB / 180 mil 个 token，对 Markdown 2,3 KB / 478 个 token（少约 ~99,6%）[9]；Fastly 则定性地描述，典型文章可压缩到原始 HTML 尺寸的 20–30% [5]。

Markdown 协商只帮助会请求它的人：Checkly 测试了七个代码智能体，只有三个（Claude Code、Cursor 和 OpenCode）发送 Accept 请求 text/markdown——其余四个（Codex、Gemini CLI、GitHub Copilot 和 Windsurf）在所观察的样本中没有优先使用 Markdown。[9] Cloudflare Radar 的一个快照在该公司的 Agent Readiness 博文中被引用，测得 Accept: text/markdown 协商仅在被扫描的高流量网站中占 3,9%——这是低采用率的瞬时画像，不是稳定基线。[10]

Chrome、成本与机器人流量

页面的“chrome”——菜单、页脚、脚本、装饰——对智能体没有语义价值，但会消耗其一侧的上下文 token，以及网站服务方一侧的带宽字节。边缘网络报告了持续增长的 AI 机器人流量：Fastly 在其 2025 年年中分析中记录到 AI 爬虫占所观测 AI 机器人流量的近 80%（Meta、Google 和 OpenAI 占最大份额），同期普通自动化机器人流量占其自身网络活动的 37%；Akamai 则报告其平台上的 AI 机器人活动同比增长约 300%。[11] [12]

减少 chrome 理论上可减少每次机器人请求的字节数——但这是一项运营假设，而非已证实的财务回报。由于没有公开研究在表示形式变更前后测量源站/egress 成本，实用建议是在承诺节省前，先在自己的日志中测量字节数、状态和 user-agent。

llms.txt：索引还是橱窗

llms.txt 的作用类似 sitemap 索引，面向已经使用它的工具——Cloudflare 自己就是这样描述的。[10] 但 Google Search Central 的官方指南将 llms.txt 和特殊 AI markup 列为应避免的误区：它不是出现在 Search 生成式 AI 功能中的要求。一项分析约 13.7 万个域名的 Ahrefs 研究发现，28% 发布了有效的 llms.txt，但其中 97% 在所测月份没有收到任何请求；在收到流量的文件中，96% 的请求来自机器人，而不是编辑性阅读。[13]

这并不能证明 llms.txt 永远没有用；它证明今天发布它很少改变可观察到的结果。应将其作为已使用该格式的工具的一项可选便利，而非优先交付物。

不确定性

• 除了 Google/web.dev 的定性论点外，没有公开研究隔离无障碍合规性（WCAG）对智能体任务成功的影响。
• 尚不清楚哪些智能体和爬虫会稳定地发送 Accept: text/markdown——Checkly 的样本（7 个中的 3 个）只是一个瞬时画像。
• 没有公开运营数据说明维护与 HTML 平行的静态 Markdown 树的真实成本，包括失配风险。
• 没有公开案例研究以具体数值测量为机器人提供协商 Markdown 前后带宽或源站节省。

参考资料

1. web.dev — Build agent-friendly websites. web.dev. 访问于 2026 年 8 月 7 日。
2. Google Search Central — Optimizing your website for generative AI features on Google Search. Google. 访问于 2026 年 8 月 7 日。
3. MDN — Content negotiation. MDN. 访问于 2026 年 8 月 7 日。
4. Vercel — How to serve documentation for agents. Vercel. 访问于 2026 年 8 月 7 日。
5. Fastly — Give AI Agents the Markdown They Actually Want. Fastly. 访问于 2026 年 8 月 7 日。
6. Cloudflare — Markdown for Agents (docs). Cloudflare. 访问于 2026 年 8 月 7 日。
7. Cloudflare — Docs for agents. Cloudflare. 访问于 2026 年 8 月 7 日。
8. Cloudflare — Introducing Markdown for Agents. Cloudflare. 访问于 2026 年 8 月 7 日。
9. Checkly — The Current State of Content Negotiation for AI Agents. Checkly. 访问于 2026 年 8 月 7 日。
10. Cloudflare — Introducing the Agent Readiness score. Cloudflare. 访问于 2026 年 8 月 7 日。
11. Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic. Fastly. 访问于 2026 年 8 月 7 日。
12. Akamai — AI Bots Threaten Foundation of Web-Based Business Models. Akamai. 访问于 2026 年 8 月 7 日。
13. Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read. Ahrefs. 访问于 2026 年 8 月 7 日。