Aangepaste Robots.txt
& Crawler-bouwer
Configureer crawlerrichtlijnen, definieer toegangsrechten voor zoekmachines, specificeer XML-sitemappaden en beheer moeiteloos de crawlsnelheid.
robots.txt-uitvoer
RFC 9309 KlaarReal-time Robots Exclusion Protocol-bestandsbouwer
Core Robots.txt-syntaxis en -regels
Het Robots Exclusion Protocol (REP) is een RFC 9309-standaard die de crawlbudgetten en padindexering van zoekmachines regelt.
Doelcrawlerfamilie
Definieert op welke crawler de volgende regels van toepassing zijn. 'User-agent: *' richt zich op alle bots, terwijl specifieke tokens zich richten op individuele crawlers.
Regels voor padtoegang
'Disallow: /admin/' voorkomt dat compatibele crawlers mappen schrapen. 'Toestaan: /' verleent expliciete toegang tot subbronnen.
Indexversnelling
Verklaart de absolute URL van uw XML-sitemap, waardoor zoekmachines alle indexeerbare pagina's in een gestructureerd manifest kunnen ontdekken.
Beperking van de crawlsnelheid
Ondersteund door Bing en Yandex om serverpieken te voorkomen door een pauze (in seconden) af te dwingen tussen opeenvolgende paginaverzoeken.
Bots en scrapers voor advertentiebeoordeling negeren robots.txt.
Dwing kogelvrije randfiltering af met Cloaker.net.
Terwijl zoekmachines robots.txt respecteren, negeren advertentierecensenten (Meta, Google Ads, TikTok) en scrapers tekstrichtlijnen. Cloaker.net inspecteert hardwarevingerafdrukken en TLS-cijfers aan de rand in minder dan 15 ms.
Veelgestelde vragen
Veelgestelde technische vragen over crawlerrichtlijnen, regels voor niet toestaan en cloaking-verdediging.
Een robots.txt-bestand is een standaard tekstbestand dat in de hoofdmap van een website wordt geplaatst en dat zoekmachinerobots en geautomatiseerde crawlers vertelt tot welke URL's ze wel of geen toegang hebben op uw site.
Nee. Terwijl legitieme bots van zoekmachines robots.txt gehoorzamen, negeren crawlers van advertentierecensies (Meta, TikTok, Google Ads) en kwaadaardige scrapers vaak de verboden-richtlijnen. Actieve edge-filtering aan de serverzijde met Cloaker.net is vereist om ongeautoriseerde crawlers te blokkeren.
Niet noodzakelijkerwijs. Als u een URL niet toestaat, kunnen zoekbots de inhoud niet crawlen, maar als externe links naar die URL verwijzen, kan Google de URL nog steeds zelf indexeren. Om ervoor te zorgen dat een pagina nooit wordt geïndexeerd, gebruikt u in plaats daarvan een noindex-metatag.
Het robots.txt-bestand moet worden geüpload naar de hoofdmap van uw websitedomein (bijvoorbeeld https://example.com/robots.txt).
Werkt naadloos samen met uw favoriete advertentienetwerken, trackers en verkeersbronnen
Beheer het crawlverkeer op schaal
Implementeer edge-omleidingen van minder dan 15 ms, filter botrecensenten en bescherm uw advertentiecampagnes met Cloaker.net.
✓ Geen creditcard vereist voor proefperiode · ✓ Op elk gewenst moment opzeggen · ✓ Latentie van minder dan een milliseconde