Web agent-ready — représentations machine : HTML, Markdown et chrome

En bref

Les agents et les crawlers lisent généralement le DOM, l'arbre d'accessibilité ou du Markdown — non la page « décorée » qu'un humain voit.
La négociation de contenu (Accept: text/markdown) est un mécanisme HTTP standard, mis en œuvre par plusieurs plateformes — pas une invention d'un seul fournisseur.
Les réductions du HTML vers Markdown dans les cas publiés vont de ~20% à ~99%, mais ce sont des exemples, non des moyennes du Web.
La négociation de Markdown reste peu adoptée et tous les agents ne la demandent pas — mesurez-la dans votre trafic avant d'investir.

Ce qu’un agent lit réellement

Un agent de navigateur « voit » rarement la page comme un humain la voit. Selon web.dev, les outils d’IA opèrent sur des représentations machine — screenshot, HTML/DOM brut et arbre d’accessibilité — souvent combinées. L’arbre d’accessibilité résume les rôles, noms et états de chaque élément et ignore le bruit visuel du CSS ; c’est pourquoi le même article recommande du HTML interactif sémantique (button, a) plutôt que des div/span décorés, des associations de label correctes et des mises en page stables. [1]

Le guide de Google Search Central pour les fonctionnalités d’IA générative renforce ce point : le HTML sémantique est une bonne pratique pour les humains et les lecteurs d’écran ; une validité HTML parfaite n’est pas obligatoire ; et les agents de navigateur peuvent utiliser screenshot, DOM et arbre d’accessibilité. La documentation elle-même décrit la préparation pour les agents comme facultative — quelque chose à faire « s’il reste du temps », non une exigence. [2]

Comment servir une représentation machine

Le mécanisme de base est le HTTP ordinaire : la content negotiation. Le client envoie un en-tête Accept indiquant le format préféré ; le serveur choisit la représentation et le signale aux caches avec Vary, selon la documentation MDN. [3] Sur ce mécanisme, plusieurs plateformes documentent des modèles proches : Vercel publie un guide pour servir Markdown et HTML sur la même URL via Accept: text/markdown (rewrites + route handler) ; Fastly décrit un service de périphérie qui livre du HTML aux navigateurs et du Markdown aux crawlers d’IA connus ou aux demandes explicites, en variant toujours par Accept et User-Agent ; et Cloudflare documente une conversion équivalente au niveau de zone, qui retire l’en-tête, la navigation, le pied de page et les scripts du corps Markdown tout en conservant le JSON-LD à la fin du document. [4] [5] [6]

Aucune de ces implémentations n’est un standard unique du secteur — il s’agit de la même idée (content negotiation) appliquée par des fournisseurs différents. Publier des fichiers Markdown statiques (comme /index.md) ou un index llms.txt est une autre stratégie, utilisée par exemple dans la documentation Cloudflare Docs for agents elle-même — plus simple à exploiter, mais avec le risque que le Markdown se « détache » du HTML canonique avec le temps. [7]

Cas publiés : quel est le poids

Des publishers rapportent des réductions de taille importantes en passant du HTML au Markdown — mais ce sont des études de cas, non une moyenne mesurée du Web. Cloudflare a cité, dans un billet de blog, un exemple d’environ 16.180 tokens en HTML contre 3.150 en Markdown (~80% de moins) [8] ; Checkly a mesuré, dans sa propre documentation, environ 615 KB / 180 mil tokens en HTML contre 2,3 KB / 478 tokens en Markdown (~99,6% de moins) [9] ; et Fastly décrit qualitativement des articles typiques compressés à 20–30% de la taille du HTML d’origine [5].

La négociation de Markdown n’aide que ceux qui la demandent : Checkly a testé sept agents de code et n’en a trouvé que trois (Claude Code, Cursor et OpenCode) envoyant Accept pour demander text/markdown — les quatre autres (Codex, Gemini CLI, GitHub Copilot et Windsurf) ne donnaient pas la priorité au Markdown dans l’échantillon observé. [9] Un snapshot de Cloudflare Radar, cité dans le blog Agent Readiness de l’entreprise, a mesuré que la négociation de Accept: text/markdown ne passe que dans 3,9% des sites à fort trafic analysés — un instantané de faible adoption, non une référence stable. [10]

Chrome, coût et trafic de bots

Le « chrome » de la page — menu, pied de page, scripts, décoration — n’a pas de valeur sémantique pour un agent, mais consomme des tokens de contexte de son côté et des octets de bande passante du côté de celui qui sert le site. Les réseaux de périphérie rapportent un volume croissant de trafic de bots d’IA : Fastly a enregistré des crawlers d’IA représentant près de 80% du trafic de bots d’IA observé dans son analyse de la mi-2025 (Meta, Google et OpenAI constituant les plus grandes parts), ainsi qu’un trafic général de bots automatisés représentant 37% de l’activité de son propre réseau sur la période ; Akamai a rapporté une croissance d’environ 300% d’une année sur l’autre de l’activité de bots d’IA sur sa plateforme. [11] [12]

Réduire le chrome peut, en théorie, diminuer les octets par requête de bot — mais c’est une hypothèse opérationnelle, non un retour financier prouvé. En l’absence d’étude publique mesurant le coût d’origine/egress avant et après un changement de représentation, le conseil pratique est de mesurer les octets, statuts et user-agent dans vos propres logs avant de promettre des économies.

llms.txt : index ou vitrine

llms.txt fonctionne comme un index de type sitemap, destiné aux outils qui le consomment déjà — c’est ainsi que Cloudflare le décrit. [10] Mais le guide officiel de Google Search Central inclut llms.txt et le markup spécial pour l’IA parmi les erreurs à éviter : ce n’est pas une exigence pour apparaître dans les fonctionnalités d’IA générative de Search. [2] Une étude Ahrefs, analysant environ 137 mil domaines, a constaté que 28% publiaient un llms.txt valide, mais que 97% de ces fichiers n’avaient reçu aucune requête durant le mois mesuré — et, parmi ceux qui recevaient du trafic, 96% des requêtes provenaient de bots, non d’une lecture éditoriale. [13]

Cela ne prouve pas que llms.txt soit inutile à jamais ; cela prouve qu’aujourd’hui, le publier change rarement quelque chose d’observable. Traitez-le comme une commodité facultative pour les outils qui consomment déjà le format — non comme un livrable prioritaire.

Incertitudes

Il n’existe pas d’étude publique isolant l’effet de la conformité à l’accessibilité (WCAG) sur la réussite des tâches d’agents, en dehors de l’argument qualitatif de Google/web.dev.
On ignore quels agents et crawlers enverront Accept: text/markdown de manière stable — l’échantillon Checkly (3 sur 7) est un instantané.
Il n’existe pas de données opérationnelles publiées sur le coût réel de maintenir une arborescence Markdown statique parallèle au HTML, y compris le risque de désalignement.
Il n’existe pas d’étude de cas publique mesurant les économies de bande passante ou d’origine en valeurs concrètes, avant et après avoir servi du Markdown négocié aux bots.

Références

web.dev — Build agent-friendly websites. web.dev. Consulté le 07 août 2026.
Google Search Central — Optimizing your website for generative AI features on Google Search. Google. Consulté le 07 août 2026.
MDN — Content negotiation. MDN. Consulté le 07 août 2026.
Vercel — How to serve documentation for agents. Vercel. Consulté le 07 août 2026.
Fastly — Give AI Agents the Markdown They Actually Want. Fastly. Consulté le 07 août 2026.
Cloudflare — Markdown for Agents (docs). Cloudflare. Consulté le 07 août 2026.
Cloudflare — Docs for agents. Cloudflare. Consulté le 07 août 2026.
Cloudflare — Introducing Markdown for Agents. Cloudflare. Consulté le 07 août 2026.
Checkly — The Current State of Content Negotiation for AI Agents. Checkly. Consulté le 07 août 2026.
Cloudflare — Introducing the Agent Readiness score. Cloudflare. Consulté le 07 août 2026.
Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic. Fastly. Consulté le 07 août 2026.
Akamai — AI Bots Threaten Foundation of Web-Based Business Models. Akamai. Consulté le 07 août 2026.
Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read. Ahrefs. Consulté le 07 août 2026.