كيف تختبر أن ملف llms.txt يعمل بعد تطبيقه، وما الذي لا يمكن اختباره؟
اختبار ملف llms.txt يتم على مستويين. المستوى التقني قابل للفحص الكامل: أن يعيد المسار /llms.txt استجابة 200 دون تحويلات، بترميز UTF-8 تظهر معه العربية سليمة، دون تسجيل دخول أو صفحة تحقق، وأن تعمل كل روابطه وتطابق أوصافه الصفحات. أما أثره في إجابات الذكاء الاصطناعي فلا يمكن تأكيده، لأن أي محرك رئيسي لم يعلن استخدامه، وقالت Google إن بحثها لا يستخدمه. وسجلات الخادم تكشف من يطلب الملف، لا من يستخدمه.
ماذا يعني أن الملف «يعمل»؟
قبل الاختبار، حدّد ما تختبره. ملف llms.txt مقترح مفتوح نُشر على llmstxt.org في سبتمبر 2024، وهو ملف Markdown يلخص الموقع ويشير إلى أهم صفحاته. «عمله» له معنيان: الأول تقني، أي أن يكون منشوراً ومقروءاً وسليم المحتوى، وهذا يمكن فحصه بالكامل. والثاني أن تستخدمه محركات الذكاء الاصطناعي في إجاباتها، وهذا لا يمكن تأكيده اليوم.
السبب أن أي محرك رئيسي لم يعلن أنه يعتمد الملف في الترتيب أو الاستشهاد، وقد قالت Google إن بحثها لا يستخدمه. كما أن الملف لا يتحكم في الزحف؛ فإذا أردت التأكد من أن زواحف الذكاء الاصطناعي تصل إلى موقعك، فاختبر robots.txt والجدار الناري وإعدادات شبكة توزيع المحتوى، لا llms.txt.
الفحص التقني الأول: هل يصل الملف سليماً؟
اطلب الملف من خارج شبكة الشركة، عبر متصفح في وضع التصفح الخاص أو أداة طلبات بسيطة، وراقب ما يحدث فعلاً لا ما تتوقعه:
- أن يعيد المسار /llms.txt في جذر النطاق استجابة 200 مباشرة، دون سلسلة تحويلات أو صفحة خطأ مخصصة
- أن يُخدم نصاً عادياً لا صفحة HTML تحيط بالمحتوى
- أن يكون الترميز UTF-8 كي تظهر العربية سليمة لا رموزاً غير مقروءة
- ألا يطلب تسجيل دخول أو تحققاً من أنك لست روبوتاً، وألا يُحجب حسب الدولة
- أن تظهر النسخة الجديدة بعد تفريغ الذاكرة المؤقتة في شبكة التوزيع
هذه الفحوص بسيطة، لكنها تكشف أغلب المشكلات الحقيقية، لأن الملف غالباً يُرفع يدوياً خارج نظام إدارة المحتوى، فيقع خارج إجراءات النشر المعتادة.
| الفحص | النتيجة المطلوبة | ما يحدث إن فشل |
|---|---|---|
| رمز الاستجابة على /llms.txt | 200 مباشرة دون سلسلة تحويلات | قد لا يصل أي نظام آلي إلى الملف |
| الترميز | UTF-8 كي تظهر العربية سليمة | يتحول النص العربي إلى رموز غير مقروءة |
| الإتاحة من خارج الشبكة | يُفتح دون تسجيل دخول أو صفحة تحقق | يُحجب الملف عن الأنظمة الآلية |
| صلاحية الروابط | كل رابط يعيد 200 لصفحة قابلة للفهرسة | تفقد الإشارات قيمتها وتربك القارئ |
| الذاكرة المؤقتة | تفريغها في شبكة التوزيع بعد كل تحديث | تبقى نسخة قديمة منشورة |
| بنية Markdown | عنوان رئيسي واحد وأقسام فرعية وقوائم روابط | يصعب تفسير الملف آلياً |
معايير تقييم محتوى الملف: الروابط والمطابقة والبنية
بعد التأكد من وصول الملف، قيّم محتواه. أولاً الروابط: يجب أن يعيد كل رابط استجابة 200 لصفحة قابلة للفهرسة، لا صفحة محولة أو معطلة أو محجوبة بوسم noindex. ثانياً المطابقة: كل وصف في الملف يجب أن يطابق ما تقوله الصفحة نفسها، فلا يذكر الملف خدمة أُلغيت أو سياسة تغيّرت.
ثالثاً البنية: عنوان رئيسي واحد باسم الموقع، يليه ملخص قصير، ثم أقسام فرعية تضم قوائم روابط بوصف من سطر لكل رابط، مع قسم اختياري للصفحات الثانوية إن وُجد. ورابعاً اللغة: وصف وقائعي خالٍ من الوعود التسويقية. الملف الذي يجتاز هذه المعايير يكون متسقاً مع هوية العلامة، حتى لو لم يثبت أثره في الإجابات.
مثال: فحص ملف شركة تداول قبل اعتماده
شركة تداول تخدم عملاء في الخليج رفعت ملف llms.txt بالعربية والإنجليزية. عند الفحص من خارج الشبكة ظهرت ثلاث مشكلات: النص العربي يظهر برموز غير مقروءة لأن الخادم لا يعلن ترميز UTF-8، ورابط صفحة الترخيص يُحوَّل إلى صفحة قديمة، وطبقة حماية الروبوتات في شبكة التوزيع تعرض صفحة تحقق لأي طلب لا يأتي من متصفح.
المشكلة الثالثة أخطر من الملف نفسه، لأنها تعني أن زواحف الذكاء الاصطناعي لا تصل إلى صفحات الموقع أيضاً. فحين يقترح ChatGPT أو Perplexity شركات تداول مرخصة، لا يمكنه أن يستشهد بصفحة لم يقرأها. لذلك كان الإصلاح بالترتيب: استثناء زواحف الاستشهاد في الجدار الناري، ثم تصحيح الترميز، ثم تحديث الروابط. وهكذا كشف اختبار ملف صغير مشكلة إتاحة أكبر بكثير.
| السؤال | قابل للاختبار؟ | الطريقة |
|---|---|---|
| هل يُخدم الملف بشكل صحيح؟ | نعم | طلبه من خارج الشبكة وفحص الاستجابة والترميز |
| هل يطلبه زاحف ما؟ | نعم، جزئياً | سجلات الخادم مع التحقق من مصدر الطلب |
| هل تستخدمه المحركات في إجاباتها؟ | لا يمكن تأكيده | لم يعلن أي محرك رئيسي استخدامه |
| هل تغير ظهورك بعد نشره؟ | نعم، مع الحذر في التفسير | قياس أساسي ثابت وتغيير واحد في كل مرة |
| هل يتحكم في الزحف؟ | لا حاجة لاختباره | الملف لا يتحكم في الزحف؛ افحص robots.txt والجدار الناري |
قراءة سجلات الخادم: من يطلب الملف؟
سجلات الخادم هي المصدر الوحيد الذي يخبرك بمن يطلب الملف فعلاً. صفِّ الطلبات على المسار /llms.txt حسب الوكيل المعلن، وراقب رموز الاستجابة التي تلقاها كل طلب. وقبل البناء على أي نتيجة، تحقق من أن الطلب صادر فعلاً عن الجهة التي يحمل اسمها، لأن اسم الوكيل وحده يمكن تزويره.
لكن تذكر الحد الفاصل: طلب الملف لا يعني استخدامه في الإجابات. قد يجلب زاحف ما الملف ضمن زحفه العام دون أن يعتمد عليه في شيء. ما تستفيده من السجلات هو التأكد من أن الملف، والأهم منه صفحات الموقع نفسها، تصل إلى الزواحف بلا حجب. وإذا لاحظت أن زواحف الاستشهاد تتلقى رموز رفض مثل 403، فهذه هي المشكلة التي تستحق الإصلاح أولاً.
قياس الظهور بعد النشر دون استنتاجات متسرعة
إذا أردت معرفة ما تغير في ظهورك، فابدأ بقياس أساسي قبل النشر: مجموعة ثابتة من أسئلة العملاء، تُطرح أكثر من مرة على كل محرك، مع تسجيل مرات ذكر علامتك والمصادر المستشهد بها. وكرر القياس بالطريقة نفسها بعد فترة متفق عليها.
وتابع الزيارات أيضاً: روابط ChatGPT تحمل الوسم utm_source=chatgpt.com، وتظهر Perplexity وGemini وCopilot جزئياً كمصادر إحالة، بينما تُحتسب زيارات Google AI Overviews ضمن بيانات «الويب» في Search Console. ولأن كثيراً من التأثير يحدث دون نقرة، تابع الاستشهادات إلى جانب الجلسات، ولا تنسب أي تغيير إلى الملف إذا غيرت عوامل أخرى في الفترة نفسها.
ما تقدمه Suggesting.ai في الفحص والمتابعة
تبدأ Suggesting.ai بتدقيق مجاني لحضور العلامة وحضورها في الذكاء الاصطناعي، يُسلَّم خلال 48 ساعة، ويشمل فحص llms.txt ضمن مراجعة أوسع لإتاحة الموقع لزواحف الذكاء الاصطناعي ووضوح الصفحات التجارية وموقع العلامة في الإجابات الحالية.
بعد التدقيق يجمع البرنامج بين GEO لتحسين الظهور العضوي في ChatGPT وPerplexity وGemini وGoogle AI Overviews وCopilot، وإدارة إعلانات ChatGPT للفئات المؤهلة، مع تقارير دورية تربط الإشارات والزيارات بأحداث التحويل. وتمنع سياسة إعلانات OpenAI عموماً إعلانات الخدمات المالية خارج الولايات المتحدة، لذا تُؤكَّد أهلية الفئة أثناء التدقيق قبل أي خطة مدفوعة.
الأسئلة الشائعة
ما أسرع طريقة للتأكد من أن ملف llms.txt منشور بشكل صحيح؟
افتح المسار /llms.txt في جذر نطاقك من متصفح في وضع التصفح الخاص، ومن شبكة خارج الشركة. يجب أن يظهر النص مباشرة، بالعربية السليمة إن وُجدت، دون تحويل أو تسجيل دخول أو صفحة تحقق. ثم افحص الروابط واحداً تلو الآخر، أو بأداة فحص روابط، للتأكد من أنها تعمل.
هل يعني ظهور زاحف ذكاء اصطناعي في السجلات أنه يستخدم الملف؟
لا. طلب الملف يعني فقط أن الزاحف جلبه، وقد يحدث ذلك ضمن زحف عام للموقع. لم يعلن أي محرك رئيسي أنه يعتمد llms.txt في الترتيب أو الاستشهاد. استفد من السجلات للتأكد من أن الملف وصفحات الموقع تصل إلى الزواحف بلا حجب، وتحقق من أن الطلبات صادرة فعلاً عن الجهات التي تحمل أسماءها.
لماذا يظهر النص العربي في الملف برموز غريبة؟
السبب في الغالب أن الخادم لا يعلن ترميز UTF-8 للملف، أو أن الملف حُفظ بترميز مختلف. احفظ الملف بترميز UTF-8، واضبط الخادم أو شبكة التوزيع كي ترسل الترميز الصحيح مع الملف، ثم أفرغ الذاكرة المؤقتة وأعد الفحص من خارج الشبكة للتأكد من ظهور العربية سليمة.
هل أستطيع اختبار الملف بأن أطلب من ChatGPT قراءته؟
يمكن أن يكشف ذلك إن كان الملف قابلاً للوصول حين يجلب ChatGPT الرابط بطلب منك، لكنه لا يثبت أن المحرك يستخدم الملف في إجاباته العادية. هذا اختبار إتاحة فقط. أما أثر الملف في الظهور فلا يُقاس إلا بمجموعة أسئلة ثابتة وقياس أساسي قبل النشر وبعده، مع الحذر في التفسير.
كم مرة يجب إعادة فحص ملف llms.txt؟
أعد الفحص بعد كل تغيير في بنية الموقع أو إعادة تصميم أو نقل للنطاق، وبعد أي تعديل على إعدادات شبكة التوزيع أو الجدار الناري، لأن هذه التغييرات قد تكسر الروابط أو تحجب الملف دون أن يلاحظ أحد. ويُستحسن إدراج فحص الملف ضمن قائمة الفحص التقني الدورية للموقع.
تريد أن يقترح الذكاء الاصطناعي علامتك بدلاً من منافسيك؟
اطلب تدقيقاً مجانياً خلال 48 ساعة لنفحص llms.txt وإتاحة موقعك لزواحف الذكاء الاصطناعي معاً، ونحدد ما يمنع ظهورك فعلاً.