آیا میخواهید فایل robots.txt سایت وردپرس خود را بهینه سازی کنید؟ نمیدانید این فایل چقدر برای سئو سایت شما اهمیت دارد؟ در این مطلب تمام این سوالات شما را پاسخ خواهم داد و به شما بهینه سازی robots.txt برای ارتقا سئو را آموزش خواهم داد.
در این مطلب می‌خوانید:
بهینه سازی robots.txt برای ارتقا سئو
فایل robots.txt به طور کلی به شما اجازه میدهد تا با موتور های جستجو ارتباط داشته باشید، و با استفاده از این فایل موتور های جستجو متوجه خواهند شد که کدام بخش از سایت شما را در نتایج جستجو قرار دهند. نبود این فایل باعث نخواهد شد که سایت شما در نتایج جستجو نباشد، اما پیشنهاد میشود که این فایل را ایجاد کنید، اگر میخواهید نقشه xml سایت خود را در موتور های جستجو ثبت کنید، باید این فایل را داشته باشید زیرا موتور های جستجو در این فایل دنبال نقشه سایت شما خواهند بود.
به شما پیشنهاد میکنم اگر این فایل را ندارید پس حتما آن را برای سایت خود ایجاد کنید.
فایل robots.txt کجاست؟ چگونه این فایل را ایجاد کنیم؟
فایل robots.txt در دایرکتوری روت سایت شما وجود دارد، فقط کافیست به کلاینت FTP خود متصل شوید، و یا از طریق سی پنل سایت خود وارد مدیریت فایل شوید، این فایل یک فایل متنی کاملا معمولی است، شما میتوانید آن را در نوت پد باز کنید و آن را به راحتی ویرایش کنید. اگر این فایل در دایرکتوری سایت شما وجود ندارد، میتوانید آن را به راحتی ایجاد کنید. تنها کاری که باید انجام دهید آن است که یک فایل متنی در کامپیوتر خود ایجاد کنید و آن را با نام robots.txt در کامپیوتر خود ذخیره کنید و آن را به راحتی در سرور سایت خود آپلود کنید.
چگونه از فایل robots.txt استفاده کنیم؟
اولین خط این فایل user agent نام دارد، که نام ربات جستجویی است که شما تلاش دارید با آن در ارتباط باشید. خط بعدی اجزای اجرای دستورات را به موتور های جستجو میدهد، بنابراین با استفاده از این خط موتور های جستجو متوجه خواهند شد که کدام بخش ها از سایت شما را باید در نتایج جستجو قرار دهند. اینها کد های موجود در فایل robots.txt هستند:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
در خط دوم به موتور های جستجو اجازه داده ایم که دایرکتوری آپلود های سایت را در نتایج قرار دهد، و در خط های بعد به موتور های جستجو اجازه نداده ایم که صفحات افزونه ها و readme.html را در نتایج قرار دهند.
بهینه سازی robots.txt
افزونه هایی وجود دارند که با استفاده از آنها میتوانید برچسب های متا مانند “nofollow” , “noindex” را اضافه کنید. معمولا افزونه های سئو میتوانند این کار را برای شما انجام دهند.
فقط باید بدانید که نباید صفحه ورود، ادمین، و صفحه ثبت نام را به فایل robots.txt اضافه کنید، زیرا این صفحات به طور پیشفرض در وردپرس دارای تگ noindex هستند و در تنایج وجود نخواهند داشت. به شما پیشنهاد میکنم که فایل readme.html را در فایل robots.txt، نو فالو “nofollow” کنید زیرا ممکن است افرادی سودجو با استفاده از این فایل بخواهند نسخه وردپرس سایت شما را بدانند، تمام افراد میتوانند به راحتی به این فایل دسترسی داشته باشند، پس لازم است آن را nofollow کنید.
اگر شما این فایل را nofollow کنید سایت شما از بسیاری از حمله های اینترنتی در امان خواهد بود. اگر شما دایرکتوری افزونه ها را نیز nofollow کنید، امنیت سایت شما ارتقا پیدا خواهد کرد.
افزودن نقشه xml سایت به فایل robots.txt
اگر شما در حال استفاده از افزونه yoast seo باشید، خود افزونه نقشه xml سایت شما را ایجاد خواهد کرد، و با استفاده از کد های زیر آن را به فایل robots.txt اضافه خواهد کرد:
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
یک فایل robots.txt مناسب باید به چه شکلی باشد؟
سایت های بزرگ و معتبر از یک فایل robots.txt بسیار ساده استفاده میکنند، معمولا کد فایل آنها به شکل زیر است:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
این کد ها باعث میشوند که موتور های جستجو تمام محتوای سایت را در نتایج قرار دهند و لینک ها را در نقشه xml سایت قرار دهند.
امیدوارم از این مطلب بهره برده باشید.
موفق باشید…
