robot.txt چیست
بطور خلاصه فایل robots.txt محدودیت هایی رو برای موتورهای جستجو در زمینه جستجو و گردآوری سایت شما انجام می ده.
شاید شما هم به این فکر رسیده باشید که اگر بخواهید جلوی قسمتی از سایت، محتوا و یا جایی از سایتتون رو برای خوانده شدن توسط موتورهای جستجویی نظیر گوگل یا یاهو بگیرید چه کاری باید انجام بدید.
خب، راه حل استفاده از فایل robots.txt هست. موتورهای جستجو قبل از هر کاری ابتدا به این فایل مراجعه می کنند و اگر اجازه داشتند به ادامه کار می پردازند. پیروی از فایل robots.txt نوعی قانون در موتورهای جستجو محسوب می شه.
خب، اگه شما می خواهید موتورهایی جستجو همه سایت شما رو بخوانند بنابراین نیازی نیست این مطلب رو بخوانید. نبود این فایل نشانگر رضایت شما از خوانده شدن تمام محتوای قابل دسترس برای موتورهای جستجو هست …
+ فایل robots.txt کجا باید قرار گیرد؟
- فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد. بطور مثال آدرس فایل http://www.example.com/robots.txt قابل قبول هست ولی آدرسی مانند http://www.example.com/mysite/robots.txt غیرقابل قبول محسوب می شود و محتویات اون خوانده نمی شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می توانید از META tag ها استفاده کنید ( + ).
+ چگونه فایل robots.txt رو بسازم ؟
- شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
ساده ترین فایل robots.txt شامل ۲ نقش است:
- User-agent : روبات های مجاز
- Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید :
User-agent: *
چند تا مثال کاربردی:
- جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:
User-agent: *
Disallow: /
- جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده :
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
- جلوگیری از خواندن محتویات پوشه private توسط گوگل :
User-agent: Googlebot
Disallow: /private/
- جلوگیری از خوانده شدن یک فایل خاص :
User-agent: *
Disallow: /directory/file.html
- برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ).
- توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است
- برای مشاهده لیستی کامل از نام روبات های جستجوگر می توانید به این آدرس مراجعه کنید
جهت مشاهده اطلاعات بیشتر به راهنمای گوگل مراجعه کنید.
برچسب ها: robot-txt، search engin، گوگل
جالب بود.
بسیار آموزنده بود . دست شما درد نکنه آقا .
این یک نمونه که برای زوپس در نظر گرفته شده ! همه رو بستن :دی
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /cache/
Disallow: /class/
Disallow: /images/
Disallow: /include/
Disallow: /install/
Disallow: /kernel/
Disallow: /language/
Disallow: /templates_c/
Disallow: /themes/
Disallow: /uploads/
سلام
بسیار جالب بود اما در root وبلاگم چنین فایلی نیست اما وقتی آدرس robot.txt رو می زنم نشون میده. ممکنه این فایل کجا قرار گرفته باشه؟
سلام دوست عزیز
هیچ اطلاعی در این مورد نداشتم. جا داره تشکر کنم.
خیلی مفید بود. نمی دونستم چنین چیزی وجود داره!
سلام خوبید؟
خسته نباشید
من یه مشکل دارم یه وبلاگ ساختم اما نمیتونم وارد مدیریتش بشم از هر ۱۰۰ بار که امتحان میکنم یه بار وارد میشه اونم بعد از یه کم کار کردن بسته میشه
من منتظرم راهنماییم کنید
سلام
الان سه روزی هست که صفحه بلاگر باز نمیشه لطفا اگه میدونید ایمیل کنید.
با تشکر
ممنون خیلی به دردم میخوره
خیلی عالی بود . واقعاً ممنون . من برای تحقیق دانشگاهاستفاده کردم.
سلام.مرسی از این مقاله خوبتوون…
یک سوال داشتم.
میخواستم بدونم که این robot.txt فقط برای موتور جستوجوی گوگل بکار میره ؟ یا موتور جستوجوهای دیگه از قبیل یاهو، آلتاویسا و … هم از همین robot.txt استفاده میکنن!!!؟؟؟؟؟؟؟؟
حتما جواب بدید…
خیلی مهمه!
واسه کارای وبسایتم میخوام…
مرسی
منتظرم!!!!!!!!
این یک استاندارد هست و همه موتورهای جستجو ازش پشتیبانی می کنند :)
مرسی نوید جان…
این مطلب را من چندین بار مطالعه کرده بودم . اما فضای سایت شما و نحوه قرار دادن این مطلب خیلی به دلم نشست.
من در این جا از شما تشکر می نمایم.
سلام
من یک سوال داشتم اما شاید بی ربط به این پست باشه:
من اگر با استفاده از فایل htaccess ، آی پی همه کشورها غیر از ایران رو بن کنم (تا سایتم فقط برای ایرانیان قابل مشاهده باشه) در دسترسی موتورهای جستجو به سایتم مشکلی ایجاد میشه؟ اونها هم ban می شوند؟
ممنون میشم راهنمایی ام کنید :)