شرح كامل على اهميه ملف robots

بسم الله الرحمن الرحيم

مقدمة:
سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى
يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده
منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع
لأحد , فقط تابع الدرس بتركيز .

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots
الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers
بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا
اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث
مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث
Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات
ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من
المواقع

حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته
ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية
كتابتة واعداده

بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب
محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:

رمز Code:

User-agent: * Disallow: /

هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث
رمز Code:

User-agent: *

وهذا الكود يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد

لاحظ النقاط التالية:

بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها

سننتقل الان الى الجزء الاهم فى هذا الشرح فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل
http://www.5odni-lek.com/robots.txt
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى
تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط
وتضع مكان هذا الجزء "/robots.txt"

ماذا سأضع بداخل ملف الـ robots.txt ؟
ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها
رمز Code:

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/

بواسطتة هذا الكود قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن
طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه
اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها

لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او
رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل
مجلد امر "Disallow" بمفرده

رمز Code:

User-agent: * Disallow: /

بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع

رمز

User-agent: * Disallow:

هذا الكود يسمح لجميع العناكب بالدخول وارشفة جميع محتويات الموقع
ويمكنك الاستغناء عن هذا الكود برفع ملف robots.txt فارغ او عدم عمل الملف
نهائيا

رمز Code:

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

بواسطة هذا الكود منعنا جميع العناكب من زيارة اقسام معينه من الموقع

رمز Code:

User-agent: BadBot Disallow: /

يستخدم هذا الكود لمنع عناكب احد محركات البحث

رمز Code:

User-agent: Google Disallow: User-agent: * Disallow: /

هذا الكود يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون

رمز Code:

User-agent: Google Disallow: User-agent: * Disallow: /

وبالطبع هذا الكود لأستثناء الملفات كما هو ظاهر

_________________

انتهى الموضوع بحمد الله وارجو ان اكون وفقت فى الاعداد

:لالاى:

سلمت يدأأأأأأأأأأأأأأأأكــــــــ