Gepasmaakte Robots.txt
& Crawler Builder
Stel kruiper-aanwysings op, definieer toegangstoestemmings vir soekenjins, spesifiseer XML-werfkaartpaaie, en bestuur deurkruipkoerse moeiteloos.
robots.txt-uitvoer
RFC 9309 GereedIntydse Robots-uitsluitingsprotokol-lêerbouer
Kern Robots.txt sintaksis en reëls
Die Robots Exclusion Protocol (REP) is 'n RFC 9309-standaard wat soekenjin-kruipbegrotings en padindeksering beheer.
Teiken Crawler Familie
Definieer op watter kruiper die volgende reëls van toepassing is. 'User-agent: *' teiken alle bots, terwyl spesifieke tokens individuele kruipers teiken.
Padtoegangreëls
'Disallow: /admin/' keer dat deurkruipers wat voldoen aan die vouers skraap. 'Laat toe: /' verleen eksplisiete toegang tot sub-hulpbronne.
Indeksversnelling
Verklaar die absolute URL van jou XML-werfkaart, sodat soekenjins alle indekseerbare bladsye in 'n gestruktureerde manifes kan ontdek.
Kruiptempo beperking
Ondersteun deur Bing en Yandex om bedienerspieke te voorkom deur 'n pouse (in sekondes) tussen opeenvolgende bladsyversoeke af te dwing.
Advertensie-resensie-bots en -skrapers ignoreer robots.txt.
Dwing koeëlvaste randfiltrering af met Cloaker.net.
Terwyl soekenjins robots.txt respekteer, ignoreer advertensiebeoordelaars (Meta, Google Ads, TikTok) en skrapers teksaanwysings. Cloaker.net inspekteer hardeware-vingerafdrukke en TLS-syfers aan die rand in minder as 15 ms.
Gereelde vrae
Algemene tegniese vrae oor kruiper-aanwysings, verwerpingsreëls en cloaking-verdediging.
'n Robots.txt-lêer is 'n standaardtekslêer wat in die wortelgids van 'n webwerf geplaas word wat soekenjinrobotte en geoutomatiseerde deurkruiers vertel watter URL's hulle op jou werf kan of nie toegang het nie.
Nee. Terwyl wettige soekenjin-bots robots.txt gehoorsaam, ignoreer advertensieresensie-kruipers (Meta, TikTok, Google Advertensies) en kwaadwillige skrapers dikwels weiering-instruksies. Aktiewe bediener-kant-randfiltrering met Cloaker.net is nodig om ongemagtigde kruipers te blokkeer.
Nie noodwendig nie. As 'n URL nie toegelaat word nie, keer dat soekrobotte die inhoud daarvan deurkruip, maar as eksterne skakels na daardie URL verwys, kan Google steeds die URL self indekseer. Om te verseker dat 'n bladsy nooit geïndekseer word nie, gebruik eerder 'n noindex-metamerker.
Die robots.txt-lêer moet opgelaai word na die wortelgids van jou webwerfdomein (bv. https://example.com/robots.txt).
Werk naatloos met jou gunsteling advertensienetwerke, spoorsnyers en verkeersbronne
Beheer kruipverkeer op skaal
Ontplooi sub-15ms randherleidings, filter botbeoordelaars en beskerm jou advertensieveldtogte met Cloaker.net.
✓ Geen kredietkaart benodig vir proeflopie nie · ✓ Kanselleer enige tyd · ✓ Sub-millisekonde latency