Gepasmaakte Robots.txt
& Crawler Builder

Stel kruiper-aanwysings op, definieer toegangstoestemmings vir soekenjins, spesifiseer XML-werfkaartpaaie, en bestuur deurkruipkoerse moeiteloos.

Voorinstellings:

robots.txt-uitvoer

RFC 9309 Gereed

Intydse Robots-uitsluitingsprotokol-lêerbouer

Geformateerde richtlijnteks
utf-8 plain text
Laai op na wortelgids: /robots.txt Skep XML-werfkaart →
Direktiewe telemetrie
Protokolstandaard: RFC 9309 / REP
Wortellêerpad: /robots.txt
Soek deurkruiperstatus: Standaardindeksering
Direktiewe verwysing

Kern Robots.txt sintaksis en reëls

Die Robots Exclusion Protocol (REP) is 'n RFC 9309-standaard wat soekenjin-kruipbegrotings en padindeksering beheer.

User-agent Directive

Teiken Crawler Familie

Definieer op watter kruiper die volgende reëls van toepassing is. 'User-agent: *' teiken alle bots, terwyl spesifieke tokens individuele kruipers teiken.

Verbied en laat toe

Padtoegangreëls

'Disallow: /admin/' keer dat deurkruipers wat voldoen aan die vouers skraap. 'Laat toe: /' verleen eksplisiete toegang tot sub-hulpbronne.

Sitemap-verklaring

Indeksversnelling

Verklaar die absolute URL van jou XML-werfkaart, sodat soekenjins alle indekseerbare bladsye in 'n gestruktureerde manifes kan ontdek.

Kruip-vertragingsreël

Kruiptempo beperking

Ondersteun deur Bing en Yandex om bedienerspieke te voorkom deur 'n pouse (in sekondes) tussen opeenvolgende bladsyversoeke af te dwing.

Aktiewe kruipverdediging

Advertensie-resensie-bots en -skrapers ignoreer robots.txt.
Dwing koeëlvaste randfiltrering af met Cloaker.net.

Terwyl soekenjins robots.txt respekteer, ignoreer advertensiebeoordelaars (Meta, Google Ads, TikTok) en skrapers teksaanwysings. Cloaker.net inspekteer hardeware-vingerafdrukke en TLS-syfers aan die rand in minder as 15 ms.

Aktiewe Bot & Resensent Onderskepping
Sub-15ms Enkel-Hop Edge Redirection
Vooraf gefiltreerde Meta & Google Handtekeninge
Dinamiese land-, toestel- en ASN-roetering
Begin gratis proeflopie Onmiddellike opstelling · Zero Code Setup
Ondersteuning en leiding

Gereelde vrae

Algemene tegniese vrae oor kruiper-aanwysings, verwerpingsreëls en cloaking-verdediging.

Wat is 'n robots.txt-lêer?

'n Robots.txt-lêer is 'n standaardtekslêer wat in die wortelgids van 'n webwerf geplaas word wat soekenjinrobotte en geoutomatiseerde deurkruiers vertel watter URL's hulle op jou werf kan of nie toegang het nie.

Beskerm robots.txt geaffilieerde tregters teen advertensieresensie-kruipers?

Nee. Terwyl wettige soekenjin-bots robots.txt gehoorsaam, ignoreer advertensieresensie-kruipers (Meta, TikTok, Google Advertensies) en kwaadwillige skrapers dikwels weiering-instruksies. Aktiewe bediener-kant-randfiltrering met Cloaker.net is nodig om ongemagtigde kruipers te blokkeer.

Verhinder 'n disallow-reël in robots.txt dat 'n bladsy geïndekseer word?

Nie noodwendig nie. As 'n URL nie toegelaat word nie, keer dat soekrobotte die inhoud daarvan deurkruip, maar as eksterne skakels na daardie URL verwys, kan Google steeds die URL self indekseer. Om te verseker dat 'n bladsy nooit geïndekseer word nie, gebruik eerder 'n noindex-metamerker.

Waar moet die robots.txt-lêer opgelaai word?

Die robots.txt-lêer moet opgelaai word na die wortelgids van jou webwerfdomein (bv. https://example.com/robots.txt).

Werk naatloos met jou gunsteling advertensienetwerke, spoorsnyers en verkeersbronne

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Beheer kruipverkeer op skaal

Ontplooi sub-15ms randherleidings, filter botbeoordelaars en beskerm jou advertensieveldtogte met Cloaker.net.

✓ Geen kredietkaart benodig vir proeflopie nie  ·  ✓ Kanselleer enige tyd  ·  ✓ Sub-millisekonde latency