Benutzerdefinierte Robots.txt
& Crawler Builder
Konfigurieren Sie Crawler-Anweisungen, definieren Sie Zugriffsberechtigungen für Suchmaschinen, geben Sie XML-Sitemap-Pfade an und verwalten Sie Crawling-Raten mühelos.
robots.txt-Ausgabe
RFC 9309 bereitEchtzeit-Dateiersteller für das Robots Exclusion Protocol
Kernsyntax und Regeln von Robots.txt
Das Robots Exclusion Protocol (REP) ist ein RFC 9309-Standard, der die Crawling-Budgets von Suchmaschinen und die Pfadindizierung regelt.
Target Crawler-Familie
Definiert, für welchen Crawler die folgenden Regeln gelten. „User-agent: *“ zielt auf alle Bots ab, während bestimmte Token auf einzelne Crawler abzielen.
Pfadzugriffsregeln
„Disallow: /admin/“ verhindert, dass konforme Crawler Ordner durchsuchen. „Zulassen: /“ gewährt expliziten Zugriff auf Unterressourcen.
Indexbeschleunigung
Deklariert die absolute URL Ihrer XML-Sitemap, sodass Suchmaschinen alle indizierbaren Seiten in einem strukturierten Manifest entdecken können.
Begrenzung der Crawling-Rate
Wird von Bing und Yandex unterstützt, um Serverspitzen zu verhindern, indem eine Pause (in Sekunden) zwischen aufeinanderfolgenden Seitenanforderungen erzwungen wird.
Bots und Scraper zur Anzeigenüberprüfung ignorieren robots.txt.
Erzwingen Sie kugelsichere Kantenfilterung mit Cloaker.net.
Während Suchmaschinen robots.txt respektieren, ignorieren Anzeigenprüfer (Meta, Google Ads, TikTok) und Scraper Textanweisungen. Cloaker.net überprüft Hardware-Fingerabdrücke und TLS-Verschlüsselungen am Edge in weniger als 15 ms.
Häufig gestellte Fragen
Häufige technische Fragen zu Crawler-Anweisungen, Verbotsregeln und Cloaking-Verteidigung.
Eine robots.txt-Datei ist eine Standardtextdatei, die im Stammverzeichnis einer Website abgelegt wird und Suchmaschinen-Robots und automatisierten Crawlern mitteilt, auf welche URLs sie auf Ihrer Website zugreifen können und welche nicht.
Nein. Während seriöse Suchmaschinen-Bots robots.txt befolgen, ignorieren Anzeigenüberprüfungs-Crawler (Meta, TikTok, Google Ads) und böswillige Scraper häufig Verbotsanweisungen. Um nicht autorisierte Crawler zu blockieren, ist eine aktive serverseitige Edge-Filterung mit Cloaker.net erforderlich.
Nicht unbedingt. Durch das Verbot einer URL wird verhindert, dass Suchbots deren Inhalte crawlen. Wenn externe Links jedoch auf diese URL verweisen, kann Google die URL selbst weiterhin indizieren. Um sicherzustellen, dass eine Seite niemals indiziert wird, verwenden Sie stattdessen ein Noindex-Meta-Tag.
Die robots.txt-Datei muss in das Stammverzeichnis Ihrer Website-Domain hochgeladen werden (z. B. https://example.com/robots.txt).
Funktioniert nahtlos mit Ihren bevorzugten Werbenetzwerken, Trackern und Traffic-Quellen
Kontrollieren Sie den Crawler-Verkehr im großen Maßstab
Stellen Sie Edge-Weiterleitungen mit weniger als 15 ms bereit, filtern Sie Bot-Prüfer und schützen Sie Ihre Werbekampagnen mit Cloaker.net.
✓ Für die Testversion ist keine Kreditkarte erforderlich. · ✓ Jederzeit kündbar. · ✓ Latenz von weniger als einer Millisekunde