Robots.txt מותאם אישית
וכלי ה-Crawler Builder
הגדר הנחיות סורק, הגדר הרשאות גישה למנועי חיפוש, ציין נתיבי מפת אתר XML ונהל את שיעורי הסריקה ללא מאמץ.
פלט robots.txt
RFC 9309 מוכןבונה קבצי פרוטוקול אי הכללת רובוטים בזמן אמת
תחביר וכללים של Core Robots.txt
פרוטוקול איסור הרובוטים (REP) הוא תקן RFC 9309 המסדיר תקציבי סריקה של מנועי חיפוש ואינדקס נתיבים.
משפחת סורק יעד
מגדיר על איזה סורק חלים הכללים הבאים. 'User-agent: *' ממקד לכל הבוטים, בעוד שאסימונים ספציפיים ממקדים לסורקים בודדים.
כללי גישה לנתיבים
'Disallow: /admin/' מונע מהסורקים התואמים לגרד תיקיות. 'אפשר: /' מעניק גישה מפורשת למשאבי משנה.
האצת אינדקס
מצהיר על כתובת האתר המוחלטת של מפת ה-XML שלך, ומאפשר למנועי חיפוש לגלות את כל הדפים הניתנים לאינדקס במניפסט מובנה.
הגבלת קצב סריקה
נתמך על ידי Bing ו-Yandex כדי למנוע עליות שרת על ידי אכיפת הפסקה (בשניות) בין בקשות דפים עוקבות.
בוטים ומגרדים לביקורת מודעות מתעלמים מ-robots.txt.
אכוף סינון קצה חסין כדורים עם Cloaker.net.
בעוד שמנועי חיפוש מכבדים את robots.txt, מבקרי מודעות (Meta, Google Ads, TikTok) ומגרדים מתעלמים מהנחיות טקסט. Cloaker.net בודק טביעות אצבע של חומרה וצפני TLS בקצה תוך פחות מ-15 אלפיות השנייה.
שאלות נפוצות
שאלות טכניות נפוצות לגבי הנחיות סורק, כללי אי אישור והגנת הסוואה.
קובץ robots.txt הוא קובץ טקסט סטנדרטי המוצב בספריית הבסיס של אתר אינטרנט ומספר לרובוטים של מנועי חיפוש וסורקים אוטומטיים לאילו כתובות URL הם יכולים או לא יכולים לגשת באתר שלך.
לא. בעוד שבוטים לגיטימיים של מנועי חיפוש מצייתים ל-robots.txt, סורקי סקירת מודעות (Meta, TikTok, Google Ads) ומגרדים זדוניים מתעלמים לעתים קרובות מהוראות איסור אישור. סינון קצה פעיל בצד השרת עם Cloaker.net נדרש כדי לחסום סורקים לא מורשים.
לא בהכרח. אי אישור של כתובת אתר מונע מבווטי חיפוש לסרוק את התוכן שלה, אך אם קישורים חיצוניים מצביעים על כתובת האתר הזו, Google עדיין יכולה להוסיף את כתובת האתר לאינדקס. כדי להבטיח שדף לעולם לא יוכנס לאינדקס, השתמש במטא תג noindex במקום זאת.
יש להעלות את קובץ robots.txt לספריית הבסיס של דומיין האתר שלך (למשל, https://example.com/robots.txt).
עובד בצורה חלקה עם רשתות המודעות, העוקבים ומקורות התנועה המועדפים עליך
שליטה בתנועת הסורקים בקנה מידה
פרוס הפניות קצה מתחת ל-15 אלפיות השנייה, סנן בוקרי בוטים והגן על מסעות הפרסום שלך עם Cloaker.net.
✓ אין צורך בכרטיס אשראי לניסיון · ✓ בטל בכל עת · ✓ אחזור של תת אלפיות השנייה