Robots.txt

 

מדריך לשימוש יעיל בקובץ robots.txt

ישנם מקרים בהם אין אנו מעוניינים שמנוע החיפוש יסרוק דף מסוים באתר, במידה ואתם רוצים למנוע ממנועי החיפוש להיכנס לדף מסויים, robots.txt הוא הקובץ המיועד לזה.

הקובץ robots.txt מנחה את מנועי החיפוש לאלו תיקיות או קבצים עליהם להימנע מלהיכנס. כאשר מנוע החיפוש סורק את האתר שלכם, הוא בודק קודם את ההנחיות המצויות בקובץ הזה.

על הקובץ להיות רשום באותיות קטנות robots.txt ולהיות ממוקם בתיקיית הבסיס של האתר.

באופן כללי לא חובה בהגדרת קובץ robots.txt ואם זה לא הכרחי, עדיף לא לבצע חסימת גישה למנועי חיפוש אל עמודים כאלה או אחרים באתר.

נקודות חשובות -

• עליכם להיות זהירים כאשר אתם מכניסים נתונים לקובץ. טעות בהכנסת הנתונים לקובץ יכולה לעלות לכם ביוקר אם בעצירת קידומו של האתר בגוגל ואף בהסרת עמודים שלמים מהאינדקס שלו.

• תהליך זה אינו מיועד להסתיר מידע סודי או רגיש באתר. זה שמנועי החיפוש לא אמורים לסרוק את העמוד באתר, אין זה אומר שתפקיד הקובץ להסתיר את המידע בעמוד האתר ושגולשים אינם יכולים להיכנס אליו. כאמור קובץ זה הוא קובץ טקסט אשר ממוקם בתיקייה הראשית באתר כך שכל אחד יכול להיכנס ולעיין בתוכנו.

• הקליקו כאן להורדת קובץ robots.txt של אתר זה לדוגמה (ארוז כזיפ) המאפשר גישה לכל עמודי האתר.

 

אפשרויות רישום ב robots.txt

 

• מאשר גישה לכל העמודים באתר -

 

• מונע גישה לכל העמודים באתר -

 

• מונע גישה לתיקייה או קובץ מסוים באתר -

 

• לא מאפשר לגוגל לסרוק תיקייה מסויימת למעט קובץ מסויים בתוכה -

 

• היזהרו לא להתבלבל! ההבדל הקטן בין קוד המאפשר סריקת כל העמודים באתר, לבין קוד המונע גישה לכל העמודים באתר...

 

• יצירת הקובץ הינו תהליך פשוט, הנחיות ליצירת הקובץ תוכלו גם לקבל במדריך יצירת קובץ robots.txt מאתר העזרה של גוגל.

 

מדריכי וידאו

נציג גוגל מאט קאטס מנסה להסביר בקצרה האם ישנה חשיבות להוספת הקובץ לאתר גם אם אין לכם צורך בהגבלה של סריקת עמודים מסויימים ע"י גוגל. (1:58 דקות - אנגלית)

 

מאט קאטס נותן דוגמא איך לא כדאי להשתמש ב robots.txt. כמו לעשות הכוונות זמניות של עכביש גוגל לעמודים מסויימים באתר בעזרת הקובץ... (2:47 דקות - אנגלית)

 

במידה ואינכם מעוניינים שהאתר שלכם יופיע מאט קאטס מביא את כל האפשרויות של איך להסיר דף מסוים של האתר מהופעתו בגוגל. וממליץ על הדרכים המוצלחות ביותר מבניהן. (12:14 דקות - אנגלית)

 

נושאים קרובים מומלצים -

 

כלים שימושיים לבניית האתר.

מדריך מקיף להקמת אתר אינטרנט.

המדריך לאופטימיזציה וקידום האתר - seo.

מדריך מילות מפתח לקידום האתר.