Aangepaste Robots.txt
& Crawler-bouwer

Configureer crawlerrichtlijnen, definieer toegangsrechten voor zoekmachines, specificeer XML-sitemappaden en beheer moeiteloos de crawlsnelheid.

Voorinstellingen:

robots.txt-uitvoer

RFC 9309 Klaar

Real-time Robots Exclusion Protocol-bestandsbouwer

Opgemaakte richtlijntekst
utf-8 plain text
Uploaden naar hoofdmap: /robots.txt Maak een XML-sitemap →
Richtlijn Telemetrie
Protocolstandaard: RFC 9309 / REP
Rootbestandspad: /robots.txt
Zoekcrawlerstatus: Standaard indexering
Richtlijnreferentie

Core Robots.txt-syntaxis en -regels

Het Robots Exclusion Protocol (REP) is een RFC 9309-standaard die de crawlbudgetten en padindexering van zoekmachines regelt.

User-agent Directive

Doelcrawlerfamilie

Definieert op welke crawler de volgende regels van toepassing zijn. 'User-agent: *' richt zich op alle bots, terwijl specifieke tokens zich richten op individuele crawlers.

Niet toestaan en toestaan

Regels voor padtoegang

'Disallow: /admin/' voorkomt dat compatibele crawlers mappen schrapen. 'Toestaan: /' verleent expliciete toegang tot subbronnen.

Sitemap-verklaring

Indexversnelling

Verklaart de absolute URL van uw XML-sitemap, waardoor zoekmachines alle indexeerbare pagina's in een gestructureerd manifest kunnen ontdekken.

Regel voor kruipvertraging

Beperking van de crawlsnelheid

Ondersteund door Bing en Yandex om serverpieken te voorkomen door een pauze (in seconden) af te dwingen tussen opeenvolgende paginaverzoeken.

Actieve crawlerverdediging

Bots en scrapers voor advertentiebeoordeling negeren robots.txt.
Dwing kogelvrije randfiltering af met Cloaker.net.

Terwijl zoekmachines robots.txt respecteren, negeren advertentierecensenten (Meta, Google Ads, TikTok) en scrapers tekstrichtlijnen. Cloaker.net inspecteert hardwarevingerafdrukken en TLS-cijfers aan de rand in minder dan 15 ms.

Actieve onderschepping van bot en recensent
Sub-15ms Single-Hop Edge Redirection
Voorgefilterde meta- en Google-handtekeningen
Dynamische land-, apparaat- en ASN-routering
Gratis proefperiode starten Directe installatie · Nulcode-installatie
Ondersteuning en begeleiding

Veelgestelde vragen

Veelgestelde technische vragen over crawlerrichtlijnen, regels voor niet toestaan en cloaking-verdediging.

Wat is een robots.txt-bestand?

Een robots.txt-bestand is een standaard tekstbestand dat in de hoofdmap van een website wordt geplaatst en dat zoekmachinerobots en geautomatiseerde crawlers vertelt tot welke URL's ze wel of geen toegang hebben op uw site.

Beschermt robots.txt affiliate-trechters tegen crawlers van advertentierecensies?

Nee. Terwijl legitieme bots van zoekmachines robots.txt gehoorzamen, negeren crawlers van advertentierecensies (Meta, TikTok, Google Ads) en kwaadaardige scrapers vaak de verboden-richtlijnen. Actieve edge-filtering aan de serverzijde met Cloaker.net is vereist om ongeautoriseerde crawlers te blokkeren.

Voorkomt een disallow-regel in robots.txt dat een pagina wordt geïndexeerd?

Niet noodzakelijkerwijs. Als u een URL niet toestaat, kunnen zoekbots de inhoud niet crawlen, maar als externe links naar die URL verwijzen, kan Google de URL nog steeds zelf indexeren. Om ervoor te zorgen dat een pagina nooit wordt geïndexeerd, gebruikt u in plaats daarvan een noindex-metatag.

Waar moet het robots.txt-bestand worden geüpload?

Het robots.txt-bestand moet worden geüpload naar de hoofdmap van uw websitedomein (bijvoorbeeld https://example.com/robots.txt).

Werkt naadloos samen met uw favoriete advertentienetwerken, trackers en verkeersbronnen

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Beheer het crawlverkeer op schaal

Implementeer edge-omleidingen van minder dan 15 ms, filter botrecensenten en bescherm uw advertentiecampagnes met Cloaker.net.

✓ Geen creditcard vereist voor proefperiode  ·  ✓ Op elk gewenst moment opzeggen  ·  ✓ Latentie van minder dan een milliseconde