Benutzerdefinierte Robots.txt
& Crawler Builder

Konfigurieren Sie Crawler-Anweisungen, definieren Sie Zugriffsberechtigungen für Suchmaschinen, geben Sie XML-Sitemap-Pfade an und verwalten Sie Crawling-Raten mühelos.

Voreinstellungen:

robots.txt-Ausgabe

RFC 9309 bereit

Echtzeit-Dateiersteller für das Robots Exclusion Protocol

Formatierter Anweisungstext
utf-8 plain text
In das Stammverzeichnis hochladen: /robots.txt XML-Sitemap erstellen →
Direktive Telemetrie
Protokollstandard: RFC 9309 / REP
Root-Dateipfad: /robots.txt
Such-Crawler-Status: Standardindizierung
Richtlinienreferenz

Kernsyntax und Regeln von Robots.txt

Das Robots Exclusion Protocol (REP) ist ein RFC 9309-Standard, der die Crawling-Budgets von Suchmaschinen und die Pfadindizierung regelt.

User-agent Directive

Target Crawler-Familie

Definiert, für welchen Crawler die folgenden Regeln gelten. „User-agent: *“ zielt auf alle Bots ab, während bestimmte Token auf einzelne Crawler abzielen.

Nicht zulassen und zulassen

Pfadzugriffsregeln

„Disallow: /admin/“ verhindert, dass konforme Crawler Ordner durchsuchen. „Zulassen: /“ gewährt expliziten Zugriff auf Unterressourcen.

Sitemap-Erklärung

Indexbeschleunigung

Deklariert die absolute URL Ihrer XML-Sitemap, sodass Suchmaschinen alle indizierbaren Seiten in einem strukturierten Manifest entdecken können.

Crawl-Verzögerungsregel

Begrenzung der Crawling-Rate

Wird von Bing und Yandex unterstützt, um Serverspitzen zu verhindern, indem eine Pause (in Sekunden) zwischen aufeinanderfolgenden Seitenanforderungen erzwungen wird.

Aktive Crawler-Verteidigung

Bots und Scraper zur Anzeigenüberprüfung ignorieren robots.txt.
Erzwingen Sie kugelsichere Kantenfilterung mit Cloaker.net.

Während Suchmaschinen robots.txt respektieren, ignorieren Anzeigenprüfer (Meta, Google Ads, TikTok) und Scraper Textanweisungen. Cloaker.net überprüft Hardware-Fingerabdrücke und TLS-Verschlüsselungen am Edge in weniger als 15 ms.

Aktives Abfangen von Bots und Prüfern
Sub-15-ms-Single-Hop-Edge-Umleitung
Vorgefilterte Meta- und Google-Signaturen
Dynamisches Land-, Geräte- und ASN-Routing
Kostenlose Testversion starten Sofortige Einrichtung · Null-Code-Einrichtung
Unterstützung und Anleitung

Häufig gestellte Fragen

Häufige technische Fragen zu Crawler-Anweisungen, Verbotsregeln und Cloaking-Verteidigung.

Was ist eine robots.txt-Datei?

Eine robots.txt-Datei ist eine Standardtextdatei, die im Stammverzeichnis einer Website abgelegt wird und Suchmaschinen-Robots und automatisierten Crawlern mitteilt, auf welche URLs sie auf Ihrer Website zugreifen können und welche nicht.

Schützt robots.txt Affiliate-Trichter vor Anzeigenüberprüfungs-Crawlern?

Nein. Während seriöse Suchmaschinen-Bots robots.txt befolgen, ignorieren Anzeigenüberprüfungs-Crawler (Meta, TikTok, Google Ads) und böswillige Scraper häufig Verbotsanweisungen. Um nicht autorisierte Crawler zu blockieren, ist eine aktive serverseitige Edge-Filterung mit Cloaker.net erforderlich.

Verhindert eine Nichtzulassungsregel in robots.txt, dass eine Seite indiziert wird?

Nicht unbedingt. Durch das Verbot einer URL wird verhindert, dass Suchbots deren Inhalte crawlen. Wenn externe Links jedoch auf diese URL verweisen, kann Google die URL selbst weiterhin indizieren. Um sicherzustellen, dass eine Seite niemals indiziert wird, verwenden Sie stattdessen ein Noindex-Meta-Tag.

Wo soll die robots.txt-Datei hochgeladen werden?

Die robots.txt-Datei muss in das Stammverzeichnis Ihrer Website-Domain hochgeladen werden (z. B. https://example.com/robots.txt).

Funktioniert nahtlos mit Ihren bevorzugten Werbenetzwerken, Trackern und Traffic-Quellen

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrollieren Sie den Crawler-Verkehr im großen Maßstab

Stellen Sie Edge-Weiterleitungen mit weniger als 15 ms bereit, filtern Sie Bot-Prüfer und schützen Sie Ihre Werbekampagnen mit Cloaker.net.

✓ Für die Testversion ist keine Kreditkarte erforderlich.  ·  ✓ Jederzeit kündbar.  ·  ✓ Latenz von weniger als einer Millisekunde