Robots.txt מותאם אישית
וכלי ה-Crawler Builder

הגדר הנחיות סורק, הגדר הרשאות גישה למנועי חיפוש, ציין נתיבי מפת אתר XML ונהל את שיעורי הסריקה ללא מאמץ.

הגדרות קבועות מראש:

פלט robots.txt

RFC 9309 מוכן

בונה קבצי פרוטוקול אי הכללת רובוטים בזמן אמת

טקסט הוראה מעוצב
utf-8 plain text
העלה לספריית השורש: /robots.txt צור XML Sitemap →
טלמטריית הנחיות
תקן פרוטוקול: RFC 9309 / REP
נתיב קובץ שורש: /robots.txt
סטטוס סורק חיפוש: אינדקס סטנדרטי
הפניה להנחיות

תחביר וכללים של Core Robots.txt

פרוטוקול איסור הרובוטים (REP) הוא תקן RFC 9309 המסדיר תקציבי סריקה של מנועי חיפוש ואינדקס נתיבים.

User-agent Directive

משפחת סורק יעד

מגדיר על איזה סורק חלים הכללים הבאים. 'User-agent: *' ממקד לכל הבוטים, בעוד שאסימונים ספציפיים ממקדים לסורקים בודדים.

אסור ואפשר

כללי גישה לנתיבים

'Disallow: /admin/' מונע מהסורקים התואמים לגרד תיקיות. 'אפשר: /' מעניק גישה מפורשת למשאבי משנה.

הצהרת מפת אתר

האצת אינדקס

מצהיר על כתובת האתר המוחלטת של מפת ה-XML שלך, ומאפשר למנועי חיפוש לגלות את כל הדפים הניתנים לאינדקס במניפסט מובנה.

כלל עיכוב זחילה

הגבלת קצב סריקה

נתמך על ידי Bing ו-Yandex כדי למנוע עליות שרת על ידי אכיפת הפסקה (בשניות) בין בקשות דפים עוקבות.

הגנת זחל פעילה

בוטים ומגרדים לביקורת מודעות מתעלמים מ-robots.txt.
אכוף סינון קצה חסין כדורים עם Cloaker.net.

בעוד שמנועי חיפוש מכבדים את robots.txt, מבקרי מודעות (Meta, Google Ads, TikTok) ומגרדים מתעלמים מהנחיות טקסט. Cloaker.net בודק טביעות אצבע של חומרה וצפני TLS בקצה תוך פחות מ-15 אלפיות השנייה.

יירוט בוט וסוקר פעיל
ניתוב מחדש של קצה יחיד של 15ms
מטא וחתימות גוגל מסוננות מראש
ניתוב מדינה, מכשיר ו-ASN דינמיים
התחל ניסיון חינם הגדרה מיידית · הגדרת קוד אפס
תמיכה והכוונה

שאלות נפוצות

שאלות טכניות נפוצות לגבי הנחיות סורק, כללי אי אישור והגנת הסוואה.

מהו קובץ robots.txt?

קובץ robots.txt הוא קובץ טקסט סטנדרטי המוצב בספריית הבסיס של אתר אינטרנט ומספר לרובוטים של מנועי חיפוש וסורקים אוטומטיים לאילו כתובות URL הם יכולים או לא יכולים לגשת באתר שלך.

האם robots.txt מגן על משפכים של שותפים עצמאיים מפני סורקי ביקורת מודעות?

לא. בעוד שבוטים לגיטימיים של מנועי חיפוש מצייתים ל-robots.txt, סורקי סקירת מודעות (Meta, TikTok, Google Ads) ומגרדים זדוניים מתעלמים לעתים קרובות מהוראות איסור אישור. סינון קצה פעיל בצד השרת עם Cloaker.net נדרש כדי לחסום סורקים לא מורשים.

האם כלל disallow ב-robots.txt מונע הוספת דף לאינדקס?

לא בהכרח. אי אישור של כתובת אתר מונע מבווטי חיפוש לסרוק את התוכן שלה, אך אם קישורים חיצוניים מצביעים על כתובת האתר הזו, Google עדיין יכולה להוסיף את כתובת האתר לאינדקס. כדי להבטיח שדף לעולם לא יוכנס לאינדקס, השתמש במטא תג noindex במקום זאת.

לאן יש להעלות את קובץ robots.txt?

יש להעלות את קובץ robots.txt לספריית הבסיס של דומיין האתר שלך (למשל, https://example.com/robots.txt).

עובד בצורה חלקה עם רשתות המודעות, העוקבים ומקורות התנועה המועדפים עליך

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

שליטה בתנועת הסורקים בקנה מידה

פרוס הפניות קצה מתחת ל-15 אלפיות השנייה, סנן בוקרי בוטים והגן על מסעות הפרסום שלך עם Cloaker.net.

✓ אין צורך בכרטיס אשראי לניסיון  ·  ✓ בטל בכל עת  ·  ✓ אחזור של תת אלפיות השנייה