شرح ملف robots.txt وتحسينه لـ SEO

Name: كورس سيو seo مجاني مع عمرو عبد السلام: تصدر جوجل بسهولة
Availability: InStock

ملف robots.txt هو جزء أساسي من Technical SEO، وبيساعدك تتحكم في إزاي محركات البحث زي جوجل بتزور (Crawl) وتفهرس (Index) صفحات موقعك، لو فيه مشكلة في الملف ده، ممكن يسبب مشاكل كبيرة زي منع جوجل من فهرسة صفحات مهمة، وده هيأثر على ترتيبك وعدد زوارك.

في الدرس ده، هنشرح إيه هو robots.txt، إزاي تعمله وتحسنه، مع أمثلة عملية تناسب المبتدئين، ومعلومات خاصة لو بتستخدم ووردبريس.

إيه هو ملف robots.txt؟

ملف robots.txt هو ملف نصي بيتركب في المجلد الرئيسي (Root Directory) لموقعك، وبيدي تعليمات لبرامج الزحف (Crawlers) بتاعة محركات البحث زي جوجل عن الصفحات أو المجلدات اللي يقدروا يزوروها ويفهرسوها لما جوجل بيزور موقعك، أول حاجة بيشوفها هي ملف robots.txt، وبناءً على التعليمات اللي فيه، بيقرر إيه الصفحات اللي يزورها.

محتوى الملف عام: يعني أي حد يقدر يشوفه لو كتب https://www.yourdomain.com/robots.txt في المتصفح، فما تحطش فيه أي معلومات حساسة.
لو مافيش robots.txt: جوجل بيفترض إن كل الصفحات المتاحة علنًا ينفع يزورها ويفهرسها.
لو الملف فيه أخطاء: لو robots.txt مش مكتوب صح، جوجل بيتجاهله ويزور الموقع كأن الملف مش موجود.
لو حظرت جوجل بالغلط: لو منعت جوجل من زيارة صفحات مهمة، هيحذف الصفحات دي من فهرسه مع الوقت، وده هيأثر جدًا على ترتيبك.

مثال عملي:

لو عندك موقع عقاري، ملف robots.txt بيحدد إذا كان جوجل يقدر يزور صفحة “شقق للبيع في التجمع” أو لا.
لو موقعك سياحي، بتحدد إذا كان صفحة “رحلات شرم الشيخ” تتفهرس أو تتحظر لو مش عامة.
لو بتبيع منتجات أونلاين، بتتحكم إذا كان صفحة “سماعات بلوتوث” تظهر في البحث أو لا.

ليه تحتاج ملف robots.txt؟

حتى لو عايز جوجل يزور كل صفحاتك، لازم يكون عندك ملف robots.txt عشان تتحكم في عملية الزحف وتتجنب المشاكل أهم استخداماته:

حظر صفحات أو مجلدات معينة: لو عندك صفحات مش عايزها تتفهرس (زي صفحات إدارية أو صفحات دفع)، تحظرها.

مثال: لو عندك صفحة “لوحة تحكم العميل” في موقع عقاري، تحظرها عشان ما تظهرش في البحث.

إدارة روابط الأفلييت (Affiliate Links): لو بتستخدم روابط أفلييت، بتحظر الصفحات دي عشان ما تتفهرسش وتبقى أسهل في الإدارة.

تقليل الضغط على السيرفر: لو موقعك كبير (آلاف الصفحات)، الزحف بياخد موارد كتير بتحظر أجزاء غير مهمة زي مجلدات الصور غير الضرورية.

هيكلية ملف robots.txt

ملف robots.txt بيكون بسيط جدًا، وبيتكون من كلمات مفتاحية زي:

User-agent: بيحدد لمين التعليمات دي (كل الزاحفين بـ * أو زاحف معين زي Googlebot).
Disallow: بيمنع الزاحف من زيارة صفحة أو مجلد (مثل Disallow: /admin/).
Allow: بيسمح بزيارة صفحة أو مجلد معين حتى لو الأب محظور (مثل Allow: /photos/bmw/).
Crawl-delay: بيحدد وقت انتظار بين زيارات الزاحف (بس جوجل بيتجاهله).
Sitemap: بيحدد مكان ملف Sitemap الـ XML (مثل Sitemap: https://example.com/sitemap.xml).

مثال لملف robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /private/public-page/
Sitemap: https://www.example.com/sitemap.xml

معناه: كل الزاحفين يقدروا يزوروا الموقع، بس ممنوع يزوروا مجلدات /admin/ و/private/، ماعدا صفحة /private/public-page/، وملف Sitemap موجود في الرابط المحدد.

ملحوظة: الملف حساس لحالة الأحرف (Case-Sensitive)، يعني File.html غير file.html.

إزاي تعمل وتحسن ملف robots.txt؟

1. تأكد إن فيه ملف robots.txt

افتح المتصفح واكتب https://www.yourdomain.com/robots.txt.
لو ظهر ملف زي User-agent: * Allow: /، يبقى عندك ملف وتقدر تعدله.
لو ظهر خطأ 404، يبقى لازم تعمل ملف جديد.

2. إزاي تعدل ملف robots.txt؟

استخدم برنامج FTP (زي FileZilla) عشان تتصل بالموقع.
الملف بيكون في المجلد الرئيسي (public_html أو www).
نزّل الملف، افتحه بمحرر نصوص (زي Notepad)، عدل التعليمات، وأرجع ارفعه.

3. إزاي تعمل ملف robots.txt جديد؟

افتح محرر نصوص (زي Notepad).
أضف التعليمات (زي المثال اللي فوق).
احفظ الملف باسم robots.txt (كل الأحرف صغيرة).
ارفعه للمجلد الرئيسي بتاع موقعك عبر FTP.

مهم: الملف لازم يكون في المجلد الرئيسي مش في أي مجلد فرعي.

4. إزاي تختبر وتتحقق من الملف؟

استخدم أداة robots.txt Tester في Google Search Console:
ادخل على robots.txt Tester.
أضف محتوى الملف أو رابط الموقع واضغط Test.
لو الزر بقى أخضر وكتب ALLOWED، يبقى الملف سليم. لو فيه مشكلة، السطر اللي فيه الخطأ هيتظلل.
استخدم أداة فحص الروابط (URL Inspection Tool) عشان تتأكد إن الصفحات المهمة مش محظورة.
لو عدلت الملف، اضغط Submit في أداة robots.txt Tester عشان تخبر جوجل بالتغييرات.

ملف robots.txt في ووردبريس

لو بتستخدم ووردبريس، فيه كام حاجة لازم تعرفهم عن robots.txt:

ملف افتراضي (Virtual robots.txt): ووردبريس بيعمل ملف robots.txt افتراضي، مش موجود فعليًا في المجلد الرئيسي، وتقدر تشوفه لما تكتب https://www.yourdomain.com/robots.txt.
المحتوى الافتراضي:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
ده بيمنع جوجل من زيارة مجلد الإدارة (wp-admin) ماعدا ملف admin-ajax.php اللي مهم للوظايف.
إعدادات رؤية محركات البحث: لو فعّلت خيار “منع محركات البحث من فهرسة الموقع” في Settings > Reading في ووردبريس، الملف هيبقى:

  User-agent: *
  Disallow: /

ده بيمنع جوجل من زيارة الموقع كله، وده خيار خطير لو الموقع مباشر (Live).
إزاي تعدل robots.txt في ووردبريس؟:
ما تقدرش تعدل الملف الافتراضي مباشرة لأنه افتراضي.
اعمل ملف robots.txt جديد بمحرر نصوص، أضف التعليمات اللي عايزها، وارفعه للمجلد الرئيسي (public_html).
لما تركب ملف فعلي، ووردبريس هيتجاهل الملف الافتراضي.
أو استخدم إضافات زي Yoast SEO عشان تعدل robots.txt من لوحة التحكم.
ملحوظة قديمة: زمان كانوا بيوصوا بحظر مجلدات wp-admin وwp-includes في robots.txt، بس من 2012 ووردبريس بيستخدم تعليمات X-Robots-Tag: noindex تلقائيًا، فما تحتاجش تحظر المجلدات دي يدويًا.

نصايح لتحسين robots.txt

ما تحظرش صفحات مهمة: تأكد إن الصفحات اللي عايزها تتفهرس (زي “شقق للبيع” أو “منتجات جديدة”) مش محظورة في robots.txt.
ما تحظرش CSS أو JS: جوجل بيحتاج يشوف ملفات CSS وJavaScript عشان يفهم الصفحة زي المستخدم، فلو حظرتهم، ممكن يأثر على ترتيبك.
استخدم Noindex للصفحات الحساسة: بدل ما تعتمد على robots.txt عشان تمنع فهرسة صفحة، أضف <meta name="robots" content="noindex"> في <head> بتاع الصفحة.

مثال: لو عندك صفحة دفع في موقع تجاري، أضف noindex بدل ما تحظرها في robots.txt.

أضف Sitemap: ضيف رابط Sitemap الـ XML في robots.txt عشان تساعد جوجل يلاقي صفحاتك بسهولة.
ما تعقدش التعليمات: استخدم User-agent: * وتعليمات بسيطة بدل ما تعمل قواعد مختلفة لكل زاحف.