جاهزية الويب للوكلاء — تمثيلات الآلة: HTML وMarkdown وchrome

باختصار

• يقرأ الوكلاء والزواحف عادة DOM أو شجرة إمكانية الوصول أو Markdown — لا الصفحة "المزينة" التي يراها الإنسان.
• التفاوض على المحتوى (Accept: text/markdown) آلية HTTP قياسية تنفذها منصات عدة، وليست اختراع مورّد واحد.
• تتراوح تخفيضات HTML إلى Markdown في الحالات المنشورة بين ~20% و~99%، لكنها أمثلة وليست متوسطات للويب.
• لا يزال اعتماد تفاوض Markdown نادراً، ولا يطلبه كل وكيل — قِس زياراتك قبل الاستثمار.

ما الذي يقرأه الوكيل فعلاً

نادراً ما “يرى” وكيل المتصفح الصفحة كما يراها الإنسان. وفق web.dev، تعمل أدوات الذكاء الاصطناعي على تمثيلات آلية — لقطة شاشة وHTML/DOM الخام وشجرة إمكانية الوصول — وغالباً في توليفة منها. تلخّص شجرة إمكانية الوصول أدوار كل عنصر وأسماءه وحالاته وتتجاهل ضجيج CSS البصري؛ لذلك توصي المقالة نفسها باستخدام HTML تفاعلي دلالي (button وa) بدلاً من div/span المزخرفة، وربط label الصحيح والتخطيطات المستقرة. [1]

يعزز دليل Google Search Central لخصائص الذكاء الاصطناعي التوليدية هذه النقطة: HTML الدلالي ممارسة جيدة للبشر وقارئات الشاشة؛ ولا يلزم أن تكون صحة HTML كاملة؛ وقد يستخدم وكلاء المتصفح لقطة الشاشة وDOM وشجرة إمكانية الوصول. وتصف الوثائق نفسها التحضير للوكلاء بأنه اختياري — أمر يُنجز “إن توفر وقت إضافي”، لا متطلباً. [2]

كيف تقدّم تمثيلاً للآلة

الآلية الأساسية هي HTTP عادي: content negotiation. يرسل العميل ترويسة Accept تحدد الصيغة المفضلة؛ ويختار الخادم التمثيل ويشير إلى التخزينات المؤقتة عبر Vary، وفق وثائق MDN. [3] وفوق هذه الآلية، توثق منصات عدة أنماطاً متشابهة: تنشر Vercel دليلاً لتقديم Markdown وHTML على العنوان نفسه عبر Accept: text/markdown (rewrites + route handler)؛ وتصف Fastly خدمة حافة تقدم HTML للمتصفحات وMarkdown لزواحف الذكاء الاصطناعي المعروفة أو للطلبات الصريحة، مع التنويع دائماً حسب Accept وUser-Agent؛ وتوثق Cloudflare تحويلاً مكافئاً على مستوى المنطقة، يزيل العنوان والتنقل والتذييل والبرامج النصية من جسم Markdown ويحفظ JSON-LD في نهاية المستند. [4] [5] [6]

لا يمثل أي من هذه التطبيقات معياراً موحداً للصناعة — إنها الفكرة نفسها (content negotiation) يطبقها مورّدون مختلفون. ونشر ملفات Markdown ثابتة (مثل /index.md) أو فهرس llms.txt استراتيجية أخرى، تستخدمها مثلاً وثائق Cloudflare Docs for agents نفسها — أسهل في التشغيل، لكنها قد تجعل Markdown “ينفصل” عن HTML القانوني بمرور الوقت. [7]

حالات منشورة: كم يكلّف ذلك

يفيد الناشرون بتخفيضات كبيرة في الحجم عند استبدال HTML بـ Markdown — لكنها دراسات حالة، لا متوسط مقاس للويب. استشهدت Cloudflare في تدوينة بمثال يحوي نحو 16.180 رمزاً في HTML مقابل 3.150 في Markdown (~80% أقل) [8]؛ وقاست Checkly في وثائقها نحو 615 KB / 180 ألف رمز في HTML مقابل 2,3 KB / 478 رمزاً في Markdown (~99,6% أقل) [9]؛ وتصف Fastly نوعياً مقالات نموذجية تنضغط إلى 20–30% من حجم HTML الأصلي [5].

لا يفيد تفاوض Markdown إلا من يطلبه: اختبرت Checkly نفسها سبعة وكلاء برمجة ووجدت ثلاثة فقط (Claude Code وCursor وOpenCode) يرسلون Accept يطلب text/markdown — أما الأربعة الآخرون (Codex وGemini CLI وGitHub Copilot وWindsurf) فلم يعطوا Markdown أولوية في العينة المرصودة. [9] وقاست لقطة من Cloudflare Radar، استشهدت بها مدونة Agent Readiness التابعة للشركة، أن تفاوض Accept: text/markdown يمر في 3,9% فقط من المواقع عالية الزيارات المفحوصة — صورة وقتية لتبنٍّ منخفض، لا خط أساس مستقر. [10]

chrome والكلفة وزيارات الروبوتات

ليس لـ“chrome” الصفحة — القائمة والتذييل والبرامج النصية والزخرفة — قيمة دلالية للوكيل، لكنه يستهلك رموز السياق من جانبه وبايتات عرض النطاق من جانب من يخدم الموقع. وتفيد شبكات الحافة بنمو حجم زيارات روبوتات الذكاء الاصطناعي: سجلت Fastly أن زواحف الذكاء الاصطناعي تمثل قرابة 80% من زيارات روبوتات الذكاء الاصطناعي المرصودة في تحليلها لمنتصف 2025 (مع Meta وGoogle وOpenAI كأكبر الحصص)، وأن زيارات الروبوتات المؤتمتة العامة تشكل 37% من نشاط شبكتها في الفترة؛ وأفادت Akamai بنمو يقارب 300% سنوياً في نشاط روبوتات الذكاء الاصطناعي على منصتها. [11] [12]

قد يؤدي تقليل chrome، نظرياً، إلى خفض البايتات لكل طلب روبوت — لكنه فرضية تشغيلية، لا عائداً مالياً مثبتاً. في غياب دراسة عامة لكلفة الأصل/الخروج تقيس ما قبل تغيير التمثيل وما بعده، فالنصيحة العملية هي قياس البايتات والحالة وuser-agent في سجلاتك قبل الوعد بتوفير.

llms.txt: فهرس أم واجهة عرض

يعمل llms.txt كفهرس على نمط sitemap، مخصص للأدوات التي تستهلكه بالفعل — هكذا تصفه Cloudflare نفسها. [10] لكن دليل Google Search Central الرسمي يدرج llms.txt وترميز الذكاء الاصطناعي الخاص ضمن المفاهيم الخاطئة التي يجب تجنبها: فليس شرطاً للظهور في خصائص الذكاء الاصطناعي التوليدية في Search. [2] وجدت دراسة Ahrefs، التي حللت نحو 137 ألف نطاق، أن 28% ينشرون llms.txt صالحاً، لكن 97% من هذه الملفات لم تتلق أي طلب في الشهر المقاس — ومن الملفات التي تلقت زيارات، جاءت 96% من الطلبات من روبوتات لا من قراءة تحريرية. [13]

لا يثبت ذلك أن llms.txt عديم الجدوى إلى الأبد؛ بل يثبت أن نشره نادراً ما يغير شيئاً قابلاً للرصد اليوم. عامله كوسيلة راحة اختيارية للأدوات التي تستهلك الصيغة بالفعل — لا كتسليم ذي أولوية.

أوجه عدم اليقين

• لا توجد دراسة عامة تعزل أثر الامتثال لإمكانية الوصول (WCAG) في نجاح مهام الوكلاء، خارج حجة Google/web.dev النوعية.
• لا يُعرف أي الوكلاء والزواحف سيرسلون Accept: text/markdown باستمرار — عينة Checkly (3 من 7) لقطة وقتية.
• لا توجد بيانات تشغيلية منشورة عن الكلفة الحقيقية لصيانة شجرة Markdown ثابتة موازية لـ HTML، بما فيها خطر عدم الاتساق.
• لا توجد دراسة حالة عامة تقيس توفير عرض النطاق أو الأصل بقيم ملموسة، قبل وبعد تقديم Markdown متفاوض عليه للروبوتات.

المراجع

1. web.dev — Build agent-friendly websites. web.dev. تاريخ الاطلاع: 07 أغسطس 2026.
2. Google Search Central — Optimizing your website for generative AI features on Google Search. Google. تاريخ الاطلاع: 07 أغسطس 2026.
3. MDN — Content negotiation. MDN. تاريخ الاطلاع: 07 أغسطس 2026.
4. Vercel — How to serve documentation for agents. Vercel. تاريخ الاطلاع: 07 أغسطس 2026.
5. Fastly — Give AI Agents the Markdown They Actually Want. Fastly. تاريخ الاطلاع: 07 أغسطس 2026.
6. Cloudflare — Markdown for Agents (docs). Cloudflare. تاريخ الاطلاع: 07 أغسطس 2026.
7. Cloudflare — Docs for agents. Cloudflare. تاريخ الاطلاع: 07 أغسطس 2026.
8. Cloudflare — Introducing Markdown for Agents. Cloudflare. تاريخ الاطلاع: 07 أغسطس 2026.
9. Checkly — The Current State of Content Negotiation for AI Agents. Checkly. تاريخ الاطلاع: 07 أغسطس 2026.
10. Cloudflare — Introducing the Agent Readiness score. Cloudflare. تاريخ الاطلاع: 07 أغسطس 2026.
11. Fastly — New Fastly threat research reveals AI crawlers make up almost 80% of AI bot traffic. Fastly. تاريخ الاطلاع: 07 أغسطس 2026.
12. Akamai — AI Bots Threaten Foundation of Web-Based Business Models. Akamai. تاريخ الاطلاع: 07 أغسطس 2026.
13. Ahrefs — We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read. Ahrefs. تاريخ الاطلاع: 07 أغسطس 2026.