شرح الزحف والفهرسة (Crawling and Indexing)

الزحف (Crawling) والفهرسة (Indexing) هما أهم خطوتين بتعملهم جوجل عشان يلاقي صفحات موقعك ويضيفها لقاعدة بياناته. لو فيه أخطاء في الفهرسة، جوجل مش هيقدر يضيف صفحاتك صح، وده هيأثر على ترتيبك في نتايج البحث، في الدرس ده، هنشرح إزاي تستخدم Google Search Console عشان تلاقي وتصلح أخطاء الفهرسة باستخدام تقرير تغطية الفهرسة (Index Coverage Report).

إيه هي أخطاء الفهرسة وليه مهم تصلحها؟

لما جوجل بيزور (Crawl) صفحات موقعك، بيحاول يفهمها ويضيفها لفهرسه (Index) عشان تظهر في نتايج البحث، لو فيه مشاكل زي روابط معطوبة، أخطاء سيرفر، أو صفحات مكررة، جوجل ممكن ما يفهرسش الصفحة، وده معناه إنها مش هتظهر لما حد يبحث عن كلمات مفتاحية مرتبطة بيها، تصليح الأخطاء دي بيضمن إن موقعك يشتغل بكفاءة ويترفع ترتيبه.

مثال عملي:

• لو عندك موقع عقاري، وصفحة “شقق للبيع في التجمع الخامس” مش مفهرسة بسبب خطأ، الناس اللي بتبحث عن “شقق التجمع” مش هتشوف صفحتك.
• لو موقعك سياحي، وصفحة “عروض رحلات شرم الشيخ” فيها مشكلة فهرسة، هتخسر زوار مهتمين بالسفر.
• لو بتبيع منتجات أونلاين، وصفحة “سماعات بلوتوث” مش مفهرسة، العملاء هيروحوا لمنافسينك.

إزاي تلاقي الأخطاء باستخدام تقرير تغطية الفهرسة (Index Coverage Report)؟

تقرير تغطية الفهرسة في Google Search Console بيوريك حالة صفحات موقعك: اللي اتفهرست (Indexed) واللي ما اتفهرستش (Non-Indexed) بسبب أخطاء، التقرير بيديك تفاصيل عن كل خطأ وإزاي تصلحه، وكمان بيسمحلك تطلب إعادة فهرسة لصفحة أو الموقع كله.

الخطوات:

1. ادخل على Google Search Console واختار الموقع من القايمة المنسدلة (في الزاوية العلوية الشمال).
2. اضغط على Pages تحت قسم Indexing عشان تشوف تقرير فهرسة الصفحات (Page Indexing Report).
3. التقرير مقسم لجزأين:

• الجزء العلوي: بيوريك الصفحات المفهرسة (Indexed Pages).
• الجزء السفلي: تقرير الفهرسة (Index Coverage Report)، بيوريك الصفحات الغير مفهرسة (Non-Indexed Pages) وأسباب المشاكل.

أنواع أخطاء الفهرسة الشائعة وإزاي تصلحها

تقرير تغطية الفهرسة بيصنف الأخطاء في فئات إليك أهم الفئات وإزاي تتعامل معاهم:

صفحة مع توجيه (Page with Redirect)

• يعني إيه؟: الصفحة بتوجه لصفحة تانية، عشان كده جوجل ما فهرسهاش.
• إيه تعمله؟:
  • لو التوجيه مقصود (مثل توجيه صفحة قديمة لصفحة جديدة)، ماتعملش حاجة.
  • لو مش مقصود، راجع الرابط (Referring Page) واصلح التوجيه عشان الصفحة الأصلية تتفهرس.
  • مثال: لو صفحة “شقق للبيع بالقاهرة” بتوجه لصفحة تانية او محافظة تانية عن طريق الخطأ، اصلحه.

صفحة بديلة مع Canonical صحيح (Alternate Page with Proper Canonical Tag)

• يعني إيه؟: جوجل اختار صفحة تانية كـ Canonical بدل الصفحة دي غالبًا بيحصل مع الصفحات اللي فيها باراميترات (مثل page?id=123).
• إيه تعمله؟: لو جوجل اختار الصفحة الصح، ماتعملش حاجة لو اختار صفحة غلط، حدد الـ Canonical URL الصحيح باستخدام Yoast SEO (لو على ووردبريس).
• مثال : لو صفحة “رحلات الأقصر” ليها Canonical غلط، حدث الكود عشان يشير للصفحة الصحيحة.

غير موجود (Not Found – 404)

• يعني إيه؟: الصفحة مش موجودة لما جوجل حاول يزورها.
• إيه تعمله؟:
  • افتح الصفحة في متصفح، لو موجودة ومهمة:
  • اضغط Test Live URL في أداة فحص الروابط.
  • اضغط Request Indexing.
  • ارجع للتقرير واضغط Validate Fix.
  • لو الصفحة فعلًا مش موجودة ومش عايزها تتفهرس:
  • سيبها زي ما هي، جوجل هيحذفها من الفهرس مع الوقت.
  • أو اعمل 301 Redirect لصفحة تانية مرتبطة.
  • مثال في التجارة الإلكترونية: لو صفحة “سماعات بلوتوث” بتدي 404، تأكد إنها موجودة، ولو لأ، وجهها لصفحة منتج مشابه.

مكررة بدون Canonical محدد (Duplicate without User-Selected Canonical)

• يعني إيه؟: جوجل اختار صفحة تانية كـ Canonical لأن الصفحة دي مكررة.
• إيه تعمله؟:
  • لو الصفحة اللي اختارها جوجل صح، ماتعملش حاجة.
  • لو غلط، حدد الـ Canonical URL الصحيح يدويًا.
  • لو الصفحة مش مكررة، غير المحتوى عشان يكون مختلف.
  • مثال في العقارات: لو صفحة “فلل للبيع” مكررة مع صفحة تانية، حدد الـ Canonical الصحيح أو غير محتواها.

Soft 404

• يعني إيه؟: الصفحة مش موجودة بس بترجع كود صحيح (مش 404)، فجوجل بيتلغبط.
• إيه تعمله؟:
  • ارجع كود 404 للصفحات الغير موجودة.
  • إزالة الصفحة من Sitemap لو مش المفروض تتفهرس.
  • وجهها بـ 301 Redirect لصفحة تانية.
  • أو سيبها لو الخطأ طبيعي (زي صفحة دفع بعد إضافة منتج للسلة).
  • مثال في التجارة الإلكترونية: لو صفحة الدفع بتدي Soft 404، إزالها من Sitemap لو مش متاحة مباشرة.

محظورة بواسطة Noindex Tag

• يعني إيه؟: الصفحة فيها تعليمات noindex بتقول لجوجل مايفهرسهاش.
• إيه تعمله؟:
  • راجع الصفحات اللي فيها noindex، لو المفروض تتفهرس، إزالة التعليمات من <head>.
  • اطلب إعادة فهرسة (Request Indexing).
  • مثال في السياحة: لو صفحة “عروض رحلات رمضان” فيها noindex عن طريق الخطأ، إزالها واطلب فهرستها.

تم الزحف لكن غير مفهرس (Crawled – Currently Not Indexed)

• يعني إيه؟: جوجل زار الصفحة بس قرر مايفهرسهاش (ممكن بسبب محتوى ضعيف أو مشاكل تقنية).
• إيه تعمله؟:
  • تأكد إن المحتوى فريد ومفيد.
  • تأكد إن الصفحة مافيهاش noindex أو حظر في robots.txt.
  • أعد إرسال الصفحة لجوجل (Request Indexing).
  • مثال في العقارات: لو صفحة “شقق للإيجار” مش مفهرسة، حسّن المحتوى واطلب فهرستها.

تم اكتشافه لكن لم يتم زحفه (Discovered – Currently Not Indexed)

• يعني إيه؟: جوجل اكتشف الصفحة بس ما زارهاش لأن الزحف كان هيسبب ضغط على الموقع.
• إيه تعمله؟: انتظر جوجل يزورها تلقائيًا، أو اطلب فهرسة لو الصفحة مهمة.
• مثال في السياحة: لو صفحة “رحلات الغردقة” لسه ما اتزاحفتش، اطلب فهرستها لو محتواها حساس زمنيًا.

خطأ السيرفر (Server Error – 5xx)

• يعني إيه؟: جوجل ما قدرش يوصل للصفحة بسبب مشكلة في السيرفر (مثل السيرفر كان متعطل).
• إيه تعمله؟:
  • لو فيه أخطاء كتير، راجع السيرفر بتاعك مع مزود الاستضافة.
  • لو فيه أخطاء قليلة، اضغط Test Live URL في أداة فحص الروابط، ولو الصفحة شغالة، اطلب Request Indexing.
  • مثال في التجارة الإلكترونية: لو صفحة “موبايل سامسونج” فيها خطأ 500، راجع السيرفر وأعد فهرستها.

طلب غير مصرح به (Unauthorized Request – 401)

1. يعني إيه؟: الصفحة محمية بكلمة سر، فجوجل ما قدرش يزورها.
2. إيه تعمله؟:
3. إزالة الصفحة من Sitemap.
4. أضف noindex للصفحة.
5. احظر المجلد في ملف robots.txt.
6. مثال في العقارات: لو صفحة “لوحة تحكم العميل” محمية، إزالها من Sitemap.

إزاي تصلح أخطاء الفهرسة؟

الخطوة الأولى: تحديد الأخطاء

• راجع تقرير تغطية الفهرسة في Google Search Console.
• ركز على فئات زي Crawled – Currently Not Indexed وNot Found (404) لأنها بتأثر مباشرة على ترتيبك.

الخطوة التانية: تصليح الأخطاء

• استخدم أداة فحص الروابط (URL Inspection Tool) عشان تفهم تفاصيل الخطأ.
• لو الصفحة مهمة، اصلح المشكلة (زي إزالة noindex أو تحسين المحتوى) واطلب إعادة فهرسة.
• لو الصفحة مش مهمة، إزالها من Sitemap أو وجهها بـ 301 Redirect.

مثال عملي:

• لو عندك موقع عقاري، وصفحة “فلل للبيع” فيها خطأ 404، تأكد إن الصفحة موجودة، ولو كده، اطلب فهرستها.
• لو موقعك سياحي، وصفحة “عروض رحلات الأقصر” فيها خطأ Soft 404، إزالها من Sitemap لو مش متاحة مباشرة.
• لو بتبيع منتجات، وصفحة “سماعات بلوتوث” مش مفهرسة بسبب محتوى مكرر، حسّن المحتوى وحدد Canonical URL صحيح.

النقاط الرئيسية (Key Learnings)

• ما تقلقش من الأخطاء: كتير من أخطاء الفهرسة طبيعية ومتوقعة (زي التوجيهات المقصودة أو Soft 404).
• ركز على الأخطاء المهمة: زي Crawled – Currently Not Indexed وNot Found (404) لأنها بتأثر على ترتيبك.
• استخدم أداة فحص الروابط: عشان تفهم سبب الخطأ وتصلحه، وتطلب إعادة فهرسة لو لازم.
• حافظ على Sitemap نظيف: إزالة الصفحات الغير ضرورية أو المحمية من Sitemap عشان تتجنب الأخطاء.

جدول بسيط لأولويات تصليح أخطاء الفهرسة

توضيح الجدول: الجدول بيوضح إن خطأ Crawled – Currently Not Indexed (90%) هو الأولوية الأولى للتصليح، بعده Not Found (404) (85%)، ثم Server Error (5xx) (80%)، وأخيرًا Duplicate Content (75%).

النصايح النهائية

• لو عندك موقع عقاري، ركز على تصليح أخطاء الصفحات المهمة زي “شقق للبيع في القاهرة”، واستخدم أداة فحص الروابط عشان تفهم المشكلة.
• لو موقعك سياحي، تأكد إن صفحات زي “رحلات شرم الشيخ” مافيهاش أخطاء زي noindex أو توجيهات غلط.
• لو بتبيع منتجات أونلاين، لو صفحة “موبايل سامسونج” فيها خطأ 404، تأكد إنها موجودة أو وجهها لصفحة تانية.
• حافظ على تحديث Sitemap بتاعك، واستخدم Google Search Console بانتظام عشان تتابع أداء موقعك.