سئو و بهینه سازی

آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

نحوه بهبود سئو با استفاده از فایل robots.txt

اخیراً یکی از کاربران ما از ما راهنمایی در مورد بهینه سازی فایل robots.txt برای بهبود سئو در وردپرس خواسته است که شاید سوال اکثر کاربرانی باشد که در زمینه سئو فعالیت میکنند. در ادامه این مقتله اطلاعات و آشنایی با فایل robots.txt به طور تخصصی خواهید داشت

فایل Robots.txt به موتورهای جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند، که آن را به یک ابزار فوق العاده قدرتمند سئو تبدیل می کند.

در این مقاله از وبلاگ آذردیتا ، ما به شما نشان خواهیم داد که چگونه یک فایل robots.txt بی نقص برای بهبود دو چندان سئو ایجاد کنید؛ پس با ما تا انتهای این مقاله همراه باشید.

آنچه در این مقاله خواهید آموخت :

فایل robots.txt چیست و چه کاربردی دارد ؟

Robots.txt یک فایل متنی است که دارندگان وب سایت می توانند با ایجاد آن برای ربات های موتور جستجو، به آنها بفهمانند چگونه صفحات را در سایت بخزند و فهرست کنند.

این به طور معمول در پوشه اصلی وب سایت شما ذخیره می شود. قالب اصلی فایل robots.txt به این شکل است :

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

شما می توانید چندین دستورالعمل داشته باشید تا URL های خاص را مجاز یا ممنوع کرده و چند نقشه سایت اضافه کنید.

در اینجا یک فایل نمونه robots.txt آورده شده است :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

در مثال فوق، ما به موتورهای جستجو اجازه داده ایم که پرونده ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند.

پس از آن در لاین بعدی، ما ربات های جستجو را از خزیدن در مسیر پلاگین ها و افزونه های سایت و همچنین پنل مدیریت منع کردیم و سرانجام، ما URL نقشه سایت XML خود را ارائه داده ایم.

آیا برای سایت وردپرس خود به یک پرونده Robots.txt نیاز داریم ؟

اگر فایل robots.txt ندارید، موتورهای جستجو همچنان وب سایت شما را میخزند و فهرست می کنند. با این وجود، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند.

این برای اولین بار که یک وبلاگ راه اندازی می کنید و محتوای زیادی ندارید، تأثیر زیادی نخواهد داشت.

با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی (ایندکس شدن) وب سایت خود داشته باشید. در اینجا دلیل آن وجود دارد.

ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند.

این بدان معنی است که آنها تعداد مشخصی از صفحات را در یک جلسه خزیدن جستجو و کنکاش می کنند. اگر آنها خزیدن در تمام صفحات سایت شما را به پایان نرسانند، آنها دوباره برمی گردند و در جلسه بعدی خزیدن را ادامه می دهند.

این می تواند سرعت نمایه سازی یا ایندکس شدن وب سایت شما را کاهش دهد.

با جلوگیری از تلاش ربات های جستجو برای جستجوی صفحات غیرضروری مانند صفحات مدیریت وردپرس ، پرونده های پلاگین و پوشه تم ها ، می توانید این مشکل را حل کنید.

با اجازه دادن به صفحات غیرضروری، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آنها را فهرست بندی کنند.

دلیل خوب دیگر استفاده از فایل robots.txt زمانی است که می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید.

بک فایل Robots.txt ایده آل به چه صورت باید باشد ؟

بسیاری از وبلاگ های معروف از یک پرونده robots.txt بسیار ساده استفاده می کنند. محتوای آنها بسته به نیازهای خاص ممکن است متفاوت باشد :

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt به همه ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و پیوندی به نقشه های سایت XML وب سایت برای آنها فراهم می کند.

برای سایت های وردپرسی، قوانین زیر را در پرونده robots.txt توصیه می کنیم :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این امر به ربات های جستجو می گوید تا تمام تصاویر و پرونده های وردپرس را فهرست بندی و ایندکس کنند. این ربات های جستجو را از نمایه سازی پرونده های افزونه وردپرس ، منطقه مدیر وردپرس ، فایل readme وردپرس و پیوندهای وابسته مجاز نمی کند.

با افزودن نقشه سایت به پرونده robots.txt ، جستجوی همه صفحات سایت خود را برای ربات های گوگل آسان می کنید.

حال که دانستید یک فایل ایده آل robots.txt به چه شکل است، بیایید نگاهی به نحوه ایجاد یک فایل robots.txt در وردپرس بیندازیم.

نحوه ایجاد فایل robots.txt در وردپرس

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد.

روش ۱ : ویرایش فایل Robots.txt با استفاده از All in One SEO

All in One SEO همچنین به عنوان AIOSEO شناخته می شود بهترین افزونه سئو وردپرس در بازار است که بیش از ۲ میلیون وب سایت از آن استفاده می کنند.

استفاده از آن آسان است و به همراه یک مولد پرونده robots.txt ارائه می شود.

برای راهنمایی دقیق می توانید راهنمای گام به گام ما در مورد نحوه نصب افزونه وردپرس را مشاهده کنید.

پس از نصب و فعال سازی افزونه ، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم از پنل پیشخوان وردپرس خود استفاده کنید.

برای ویرایش فایل robots.txt خود کافیست به مسیر All in One SEO » Tools بروید.

optimize wordpress robots txt for seo 01 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

ابتدا باید با کلیک روی گزینه “Enable Custom Robots.txt” آن را فعال و روشن نمایید، تا گزینه آبی را روشن شود.

با روشن کردن این ضامن، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.

optimize wordpress robots txt for seo 02 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

All in One SEO فایل robots.txt موجود شما را در بخش “Robots.txt Preview” در پایین صفحه نمایش نشان می دهد.

این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.

optimize wordpress robots txt for seo 03 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی و ایندکس کنند و به آنها پیوندی به نقشه XML سایت شما می دهد.

اکنون، می توانید قوانین سفارشی خود را برای بهبود و آشنایی با فایل robots.txt اضافه کنید.

برای افزودن قانون جدید، یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از * این قانون را برای همه نمایندگان کاربر اعمال می کند.

سپس، آیا می خواهید موتورهای جستجو برای خزیدن ‘Allow’ یا ‘Disallow’ را انتخاب کنید.

سپس، نام پرونده یا مسیر دایرکتوری را در قسمت ‘Directory Path’ وارد کنید.

optimize wordpress robots txt for seo 04 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

جهت آشنایی با فایل robots.txt این قانون به طور خودکار در مورد robots.txt شما اعمال می شود. برای افزودن قانون دیگر، دکمه ‘Add Rule’ را کلیک کنید.

توصیه می کنیم قوانینی را اضافه کنید تا زمانی که قالب ایده آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد شود.

قوانین سفارشی شما به این شکل خواهد بود.

optimize wordpress robots txt for seo 05 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

پس از اتمام کار، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه ‘Save Changes’ کلیک کنید.

روش ۲ : ویرایش فایل Robots.txt به صورت دستی

در این روش میتوانید با استفاده از کنترل پنل دایرکت ادمین | سی پنل و یا برنامه FTP خود به هاست خودتان متصل شده و فایل را ویرایش و شخصی سازی کنید که ما در این آموزش از برنامه FTP برای ویرایش فایل استفاده کرده ایم.

پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html مشاهده کنید.

optimize wordpress robots txt for seo 06 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

Robots.txt یک فایل متنی ساده است، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند ++Notepad یا TextEdit ویرایش کنید.

در نهایت پس از ذخیره تغییرات، می توانید دوباره آن را در پوشه اصلی وب سایت خود آپلود کنید.

چگونه فایل Robots.txt خود را آزمایش کنیم ؟

برای آشنایی با فایل robots.txt هنگامی که فایل robots.txt خود را ایجاد کردید، همیشه بهتر است آن را با استفاده از یک ابزار چکر robots.txt تست کنید.

ابزارهای زیادی برای آزمایش robots.txt وجود دارد، اما توصیه می کنیم از یکی از ابزارهای موجود در کنسول جستجوی Google استفاده کنید.

ابتدا باید وب سایت خود را با Google Search Console پیوند دهید. سپس، می توانید از ابزار Google Search Console Robots Testing Tool استفاده کنید.

این ابزار به طور خودکار پرونده robots.txt وب سایت شما را بررسی می کند و در صورت یافتن مشکل، خطاها و هشدارها را برجسته می کند.

optimize wordpress robots txt for seo 07 - آشنایی با فایل robots.txt و بهینه سازی آن برای بهبود سئو در وردپرس

امیدواریم این مقاله به شما کمک کند تا یاد بگیرید چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید. همچنین ممکن است بخواهید آموزش سئو تصاویر در وردپرس – راهنمای مبتدیان را برای رشد وب سایت خود مشاهده کنید.

برای امتیاز به این نوشته کلیک کنید!
[کل: ۱ میانگین: ۵]

سعید زارعین

سعید هستم 27 ساله، یک عدد تولید محتوا(ئر) خلاق :)))

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا