מפעילי אתרים רבים אינם מודאגים. כנראה שאתה בהחלט צריך קובץ בשם robots.txt. מה זה?
Windows + Linux / אנגלית / קוד פתוח. אם יש לך דף בית, אתה בדרך כלל רוצה להימצא. יש תסכול גדול כאשר הדף שלך אינו מופיע בגוגל. יתכן שזה נובע מקובץ robots.txt. אבל רק אם הוא קיים. קובץ זה יכול לעשות רק דבר אחד: אסור.
בקובץ robots.txt, תוכל לאסור גישה לתוכניות אוטומטיות הגולשות באינטרנט מסביב לשעון. אתה יכול לבטא את האיסור על כל הלוח עבור כל הרובוטים האלה או עבור רובוטים מסוימים. אתה יכול לחסום את הדפים שלך לחלוטין או רק אזורים מסוימים.
אם הקובץ אינו קיים, לפיכך אין איסורים. הדפים שלך פתוחים לכל מנועי החיפוש. אם אתה עדיין לא מופיע בגוגל, עולה שאלה אחרת לגמרי: האם כבר רשמת את הדפים שלך? הדבר הטוב ביותר לעשות הוא לעשות זאת מיד. פשוט הכנס את הכתובת כאן:
https://www.google.com/webmasters/tools/submit-url
לשם כך, עליך להיכנס לחשבון Google שלך.
על מנת שקובץ robots.txt חסר יהווה בעיה, גם השרת צריך להיות מוגדר בצורה לא נכונה. אז יכול רובוט לנסות לגשת לקובץ ולהיתקל בהודעות שגיאה יוצאות דופן, ולגרום לביטול התהליך. אבל המקרה הזה מאוד לא סביר.
אם ברצונך ליצור קובץ robots.txt, שמור אותו בתיקיה הראשית של שרת האינטרנט שלך. אם אתה רוצה לאפשר לכולם לעשות הכל, כתוב לתוכו את הדברים הבאים:
סוכן משתמש: *
אסור:
השורה "משתמש-סוכן" מציינת על מי חל האיסור. * פירושו: לכולם. השורה "אסור" מבטאת את האיסור. אם אין עוד, זה אומר שכל הגישות מותרות.
עוד בנושא:ויתור, הנה נכנס האתר שלך: כיצד ליצור אתר עם מעט מאמץ
