Question 1

איפה שמים את הקובץ?

Accepted Answer

בשורש הדומיין: example.com/robots.txt. חייב להיות נגיש בכתובת הזו בדיוק.

Question 2

robots.txt חוסם אינדוקס?

Accepted Answer

לא בהכרח. הוא חוסם סריקה. כדי למנוע אינדוקס משתמשים ב-meta noindex. אבל אם חוסמים סריקה, גוגל לא יראה את ה-noindex — לכן צריך לתכנן נכון.

Question 3

צריך robots.txt בכלל?

Accepted Answer

כן. גם אם אתה רוצה לאפשר הכול, קובץ תקין עם הפניה ל-Sitemap עוזר לגוגל לסרוק את האתר ביעילות.