Custom Robots.txt
& Crawler Builder

დააკონფიგურირეთ მცოცავი დირექტივები, განსაზღვრეთ საძიებო სისტემაში წვდომის ნებართვები, მიუთითეთ XML საიტის რუქის ბილიკები და მართეთ crawl-ის სიხშირე ძალისხმევის გარეშე.

წინასწარ დაყენებული:

robots.txt გამომავალი

RFC 9309 მზადაა

რეალურ დროში Robots Exclusion Protocol ფაილის შემქმნელი

ფორმატირებული დირექტივის ტექსტი
utf-8 plain text
ატვირთეთ root დირექტორიაში: /robots.txt შექმენით XML საიტის რუკა →
დირექტიული ტელემეტრია
პროტოკოლის სტანდარტი: RFC 9309 / REP
Root ფაილის გზა: /robots.txt
ძებნის მცოცავი სტატუსი: სტანდარტული ინდექსირება
დირექტივის მითითება

Core Robots.txt სინტაქსი და წესები

Robots Exclusion Protocol (REP) არის RFC 9309 სტანდარტი, რომელიც არეგულირებს საძიებო სისტემის crawl-ის ბიუჯეტებს და ბილიკის ინდექსირებას.

User-agent Directive

სამიზნე მცოცავი ოჯახი

განსაზღვრავს რომელ მცოცავზე ვრცელდება შემდეგი წესები. 'მომხმარებლის აგენტი: *' მიზნად ისახავს ყველა ბოტს, ხოლო კონკრეტული ტოკენები მიზნად ისახავს ცალკეულ მცოცავებს.

აკრძალვა და დაშვება

ბილიკის წვდომის წესები

„აკრძალვა: /admin/“ აჩერებს შესაბამის მცოცავებს საქაღალდეების გაფცქვნას. „ნება: /“ ანიჭებს ქვერესურსებზე აშკარა წვდომას.

საიტის რუკის დეკლარაცია

ინდექსის აჩქარება

აცხადებს თქვენი XML საიტის რუქის აბსოლუტურ URL-ს, რაც საძიებო სისტემებს საშუალებას აძლევს აღმოაჩინონ ყველა ინდექსირებადი გვერდი სტრუქტურირებულ მანიფესტში.

Crawl-დაყოვნების წესი

სეირნობის სიჩქარის შეზღუდვა

მხარდაჭერილია Bing-ისა და Yandex-ის მიერ, რათა თავიდან იქნას აცილებული სერვერის მწვერვალები გვერდის თანმიმდევრულ მოთხოვნებს შორის პაუზის გატარებით (წამებში).

აქტიური მცოცავი დაცვა

რეკლამის განხილვის ბოტები და სკრაპერები უგულებელყოფენ robots.txt-ს.
აღასრულეთ ტყვიაგაუმტარი კიდეების ფილტრაცია Cloaker.net-ით.

მაშინ, როცა საძიებო სისტემები პატივს სცემენ robots.txt-ს, რეკლამის მიმომხილველები (Meta, Google Ads, TikTok) და სკრაპერები უგულებელყოფენ ტექსტურ დირექტივებს. Cloaker.net ამოწმებს აპარატურის თითის ანაბეჭდებს და TLS შიფრებს კიდეზე 15მმ-ზე ნაკლები სიჩქარით.

აქტიური ბოტისა და მიმომხილველის ჩარევა
Sub-15ms Single-Hop Edge გადამისამართება
წინასწარ გაფილტრული Meta & Google Signatures
დინამიური ქვეყანა, მოწყობილობა და ASN მარშრუტი
დაიწყეთ უფასო საცდელი ვერსია მყისიერი დაყენება · ნულოვანი კოდის დაყენება
მხარდაჭერა და ხელმძღვანელობა

ხშირად დასმული კითხვები

საერთო ტექნიკური კითხვები მცოცავი დირექტივების, აკრძალვის წესებისა და ფარული დაცვის შესახებ.

რა არის robots.txt ფაილი?

robots.txt ფაილი არის სტანდარტული ტექსტური ფაილი, რომელიც განთავსებულია ვებსაიტის ძირეულ დირექტორიაში, რომელიც ეუბნება საძიებო სისტემის რობოტებს და ავტომატიზებულ მცოცავებს, რომელ URL-ებს შეუძლიათ ან არ შეუძლიათ წვდომა თქვენს საიტზე.

იცავს robots.txt შვილობილი ძაბრებს რეკლამის მიმოხილვის მცოცავებისგან?

არა. მიუხედავად იმისა, რომ საძიებო სისტემის ლეგიტიმური ბოტები ემორჩილებიან robots.txt-ს, რეკლამის მიმოხილვის მცდელობები (Meta, TikTok, Google Ads) და მავნე სკრაპერები ხშირად უგულებელყოფენ აკრძალვის დირექტივებს. აქტიური სერვერის კიდეების ფილტრაცია Cloaker.net-ით საჭიროა არაავტორიზებული მცოცავების დასაბლოკად.

აკრძალვის წესი robots.txt-ში ხელს უშლის გვერდის ინდექსირებას?

არ არის აუცილებელი. URL-ის აკრძალვა აჩერებს საძიებო ბოტებს მისი შინაარსის ცოცვას, მაგრამ თუ გარე ბმულები მიუთითებს ამ URL-ზე, Google-ს მაინც შეუძლია თავად URL-ის ინდექსირება. იმის უზრუნველსაყოფად, რომ გვერდი არასოდეს იყოს ინდექსირებული, ამის ნაცვლად გამოიყენეთ noindex მეტათეგი.

სად უნდა აიტვირთოს robots.txt ფაილი?

robots.txt ფაილი უნდა აიტვირთოს თქვენი ვებსაიტის დომენის ძირეულ დირექტორიაში (მაგ., https://example.com/robots.txt).

შეუფერხებლად მუშაობს თქვენს საყვარელ სარეკლამო ქსელებთან, ტრეკერებთან და ტრაფიკის წყაროებთან

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

აკონტროლეთ მცოცავი ტრაფიკი მასშტაბით

განათავსეთ 15 ms-ის ზღვარზე გადამისამართებები, გაფილტრეთ ბოტების მიმომხილველები და დაიცავით თქვენი სარეკლამო კამპანიები Cloaker.net-ით.

✓ საკრედიტო ბარათი არ არის საჭირო საცდელად  ·  ✓ გაუქმება ნებისმიერ დროს  ·  ✓ ქვემილიწამიანი შეყოვნება