السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟
إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب: كود PHP:
User-agent: *
Disallow:
إذا أردت محرك بحث معين مثل قوقل اكتب: كود PHP:
User-agent: googlebot
إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب: كود PHP:
Disallow: email.htm
إذا أردتها أن تمنعها من مجلد كامل.. اكتب: كود PHP:
Disallow: /cgi-bin/
هذه تمنع كل المحركات من تصفح موقعك بالكامل: كود PHP:
User-agent: *
Disallow: /
هذه تمنع محرك بحث معين من تصفح موقعك: كود PHP:
User-agent: Roverdog
Disallow: /
آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة: كود PHP:
User-agent: googlebot
Disallow: cheese.htm
و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب: كود PHP:
Disallow: bob #comment
لاحظ أن ما بعد # سيهمله محرك البحث (في نفس السطر)
كل ما عليك.. وضع الكود و حفظه