تبلیغات
 آموزش کسب و کار اینترنتی
لینک های وب

تست فایل robots.txt (آموزش کسب و کار اینترنتی)






قبلا در مورد اینکه گوگل وبمستر چیست و اینکه چه امکاناتی دارد صحبت کردیم. حالا می خواهم در مورد فایل robots.txt  که یک فایل متنی است و از قابلیت های crawl محسوب می شود بحث کنیم.

فایل robots.txt می گه که چه مطالبی از سایت توسط خزنده گوگل دیده شوند و چه مطالبی دور مانده شوند از دید خزنده گوگل و ایندکس نشوند.

 هر زمان خطا و هشداریی برای سایت خود دریافت کردید ابتدا فایل robots.txt مربوط به سایت خود راچک کنید. می توانید این فایل را با سایر گزارش های گوگل وبمستر تولز مقایسه کنید.

برای مثال شما می توانید از ابزار بروز رسانی گوگل برای ارائه صفحات مهم سایت خود استفاده کنید و اگر آدرس مسدودی گزارش شده بود با استفاده از تستر فایل robots.txt دلیل بسته شدن آن را ردیابی کرده و مشکل را برطرف کنید.

ابزارهایی که گوگل در اختیار کاربران قرار می دهد به منظور استفاده آسان تر آنها از تمامی امکانات موتور جستجوست.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهایdisallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

User-agent:

Disallow:

با User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته باشند  را مشخص نمود.

با Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها دسترسی نداشته باشند را مشخص نمود

 برای برطرف کردن مشکلات و پاسخ به سوالاتتان، گوگل انجمنی به اسم webmaster’s help forum ایجاد کرده که به راحتی می توانید در آن عضو شوید و سوالات خود را مطرح نمائید.




طبقه بندی: آموزش کسب و کار اینترنتی،  کسب و کار اینترنتی،  بهینه سازی سایت،  سئو، 
برچسب ها: گوگل وبمستر تولز، ایندکس، سئو،  

تاریخ : دوشنبه 30 فروردین 1395 | 20:49 | نویسنده : leila khosravian | نظرات

  • paper | پارس خودرو | مای بی اف