ما هو ملف robots.txt وما عمله؟
باختصار شديد ملف robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم.
كيف يمكنك إنشاء ملف robots.txt
تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.
البدء في كتابة أوامر ملف robots.txt
لنفرض وجود موقع رابطه الرئيسي هو www.gredev.internet وهنالك صفحة تسمى blog
للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط www.gredev.net/weblog اليس كذلك؟
الأن نريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياته، سنقوم بكتابة التالي داخل ملف robots.txt:
man or woman-agent: googlebot
disallow: /weblog
السطر الأول نخبر بيه محرك البحث جوجل (تحديداً) بالأوامر التي تلي هذا السطر
السطر الثاني نخبر محرك البحث جوجل بعدم ارشفة الصفحة blog او محتوياتها الفرعية من خلال تعليمة disallow
يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن "الكل" فمثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة بدل كلمة googlebot ليصبح كالتالي:
person-agent: *
disallow: /blog
أفضل الممارسات المتبعة في إعدادات ملف robots.txt
الكود التالي يمكنك إستخدامه في موقعك من دون اي مشاكل (في حال اذا كنت لا تود حظر محركات البحث من ارشفة مسار معين):
person-agent: *
allow: /
sitemap: http://www.gredev.internet/sitemap.xml
السطر الأول يوجه امر لجميع محركات البحث بتطبيق الأوامر التي بأسفله.
السطر الثاني يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع.
السطر الثالث من اهم الاساليب المتبعة لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو من خلال استخدام تعليمة sitemap ويليها رابط خريطة الموقع.
تعليقات
إرسال تعليق