دسته بندی
خدمات ما
نحوه‌ی بهینه سازی فایل Robots.txt وردپرس برای سئو
فایل Robots.txt به موتورهای جستجو می‌گوید که چطور در سایت شما جستجو کنند، به همین دلیل این فایل، ابزار قدرتمندی برای سئو محسوب می‌شود. در این مطلب قصد داریم نحوه‌ی بهینه سازی فایل Robots.txt برای سئو را با هم بررسی کنیم.
یک فایل Robots.txt ایده‌آل چگونه به نظر می‌رسد؟
اکثر سایت‌های محبوب از شکل خیلی ساده‌ی این فایل استفاده می‌کنند. محتوای آن‌ها ممکن است متفاوت و متناسب با نیازهای مختلف سایت باشد:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
این فایل Robots.txt به تمام ربات‌ها این امکان را می‌دهد که محتوای سایت را دسته بندی کنند و به صورت یک لینک برای نقشه‌ی سایت XML بفرستند.
برای سایت‌های وردپرس، بهتر است فایل Robots.txt به شکل زیر باشد:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
این فایل به ربات‌ها اجازه می‌دهد تمام تصاویر و فایل‌ها را هم فهرست بندی کند. البته فایل افزونه‌ها، فایل بخش ادمین، فایل readme و لینک‌های وابسته در این فهرست بندی قرار نمی‌گیرند.
با اضفه کردن نقشه‌ی سایت به فایل Robots.txt، دیگر ربات‌های گوگل به راحتی صفحات سایت شما را پیدا می‌کنند. حالا نحوه‌ی ایجاد یک فایل Robots.txt ایده‌آل را با هم بررسی می‌کنیم.
چطور در وردپرس یک فایل Robots.txt بسازیم؟
دو راه برای ساخت این فایل وجود دارد که در ادامه بیان می‌شود و شما می‌توانید یکی از این راه‌ها را برای خود انتخاب کنید.
روش اول: ویرایش فایل Robots.txt با استفاده از افزونه‌ی Yoast SEO
اگر از افزونه‌ی Yoast SEO در سایت خود استفاده می‌کنید، پس از ان به عنوان سازنده‌ی یک فایل robots.txt هم می‌توانید استفاده کنید. شما می‌توانید به صورت مستقیم و از قیمت ادمین سایت خود یک فایل robots.txt را با استفاده از این افزونه بسازید.
برای این کار باید از بخش SEO به صفحه‌ی TOOL بروید و بر روی لینک ویرایشگر فایل کلیک کنید.
در صفحه‌ی بعد، صفحه‌ی Yoast SEO به شما فایل robots.txt که هم اکنون از آن استفاده می‌کنید را نشان می‌دهد.اگر این فایل را روی سایت ندارید، پس این افزونه یک فایل برای شما ایجاد می‌کند
به صورت پیش فرض، این افزونه هنگام ساختن فایل robots.txt کدهای زیر را به فایل شما اضفه می‌کند:
User-agent: *
Disallow: /
حتما باید این کدها را حذف کنید، زیرا این کدها مانع جستجوی موتورهای جستجو در سایت شما می‌شوند. بعد از پاک کردن این متن، می‌توانید قوانین خودتان را به فایل اضافه کنید. بعد از اتمام تغییرات، حتما بر روی گزینه‌ی Save robots.txt file کلیک کنید.
روش دوم: ویرایش فایل robots.txt به صورت دستی و با استفاده از FTP
برای به کار بردن این روش باید از یک ارائه دهنده‌ی خدمات FTP استفاده کنید.
ابتدا با استفاده از اکانت FTP خود وارد سایت وردپرس شوید. می‌توانید فایل robots.txt را در پوشه‌ی root سایت خود پیدا کنید.
اگر چنین پوشه‌ای ندارید، پس حتما این فایل را بر روی وب سایت خود ندارید. پس می‌توانید یکی بسازید.
شمال می‌توانید این فایل را روی کامپیوتر خود دانلود و با استفاده از یک ویرایشگر متن مانند نوتپد، ویرایش کنید. بعد از ذخیره‌ی تنظیمات می‌توانید این فایل را در پوشه‌ی root سایت خود بارگذاری کنید.
جمع بندی
با استفاده از یکی از دو روش ذکر شده می‌توانید فایل robots.txt را بسازید و تنظیمات آن را مطابق کد گفته شده سفارشی سازی کنید. به این شکل وب سایت شما از نظر سئو هم بهینه سازی می‌شود.
منبع
https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/
