תגית: disallow

robots.txt – איך לדבר עם הרובוטים של מנועי החיפוש?

בעבר היה לנו את דפי זהב או מקומון – היינו כותבים מספר מילים על העסק שלנו, מנפים את המידע החשוב ביותר, וגמרנו. אין ספק, זה נוח, קל ומעולה אבל קיימים מקרים בהם ניהיה מעוניינים שמנועי החיפוש לא יסרקו עמוד מסוים - בדיוק לצורך כך קיים הקובץ robots.txt.