Custom Robots.txt
& Crawler Builder
დააკონფიგურირეთ მცოცავი დირექტივები, განსაზღვრეთ საძიებო სისტემაში წვდომის ნებართვები, მიუთითეთ XML საიტის რუქის ბილიკები და მართეთ crawl-ის სიხშირე ძალისხმევის გარეშე.
robots.txt გამომავალი
RFC 9309 მზადაარეალურ დროში Robots Exclusion Protocol ფაილის შემქმნელი
Core Robots.txt სინტაქსი და წესები
Robots Exclusion Protocol (REP) არის RFC 9309 სტანდარტი, რომელიც არეგულირებს საძიებო სისტემის crawl-ის ბიუჯეტებს და ბილიკის ინდექსირებას.
სამიზნე მცოცავი ოჯახი
განსაზღვრავს რომელ მცოცავზე ვრცელდება შემდეგი წესები. 'მომხმარებლის აგენტი: *' მიზნად ისახავს ყველა ბოტს, ხოლო კონკრეტული ტოკენები მიზნად ისახავს ცალკეულ მცოცავებს.
ბილიკის წვდომის წესები
„აკრძალვა: /admin/“ აჩერებს შესაბამის მცოცავებს საქაღალდეების გაფცქვნას. „ნება: /“ ანიჭებს ქვერესურსებზე აშკარა წვდომას.
ინდექსის აჩქარება
აცხადებს თქვენი XML საიტის რუქის აბსოლუტურ URL-ს, რაც საძიებო სისტემებს საშუალებას აძლევს აღმოაჩინონ ყველა ინდექსირებადი გვერდი სტრუქტურირებულ მანიფესტში.
სეირნობის სიჩქარის შეზღუდვა
მხარდაჭერილია Bing-ისა და Yandex-ის მიერ, რათა თავიდან იქნას აცილებული სერვერის მწვერვალები გვერდის თანმიმდევრულ მოთხოვნებს შორის პაუზის გატარებით (წამებში).
რეკლამის განხილვის ბოტები და სკრაპერები უგულებელყოფენ robots.txt-ს.
აღასრულეთ ტყვიაგაუმტარი კიდეების ფილტრაცია Cloaker.net-ით.
მაშინ, როცა საძიებო სისტემები პატივს სცემენ robots.txt-ს, რეკლამის მიმომხილველები (Meta, Google Ads, TikTok) და სკრაპერები უგულებელყოფენ ტექსტურ დირექტივებს. Cloaker.net ამოწმებს აპარატურის თითის ანაბეჭდებს და TLS შიფრებს კიდეზე 15მმ-ზე ნაკლები სიჩქარით.
ხშირად დასმული კითხვები
საერთო ტექნიკური კითხვები მცოცავი დირექტივების, აკრძალვის წესებისა და ფარული დაცვის შესახებ.
robots.txt ფაილი არის სტანდარტული ტექსტური ფაილი, რომელიც განთავსებულია ვებსაიტის ძირეულ დირექტორიაში, რომელიც ეუბნება საძიებო სისტემის რობოტებს და ავტომატიზებულ მცოცავებს, რომელ URL-ებს შეუძლიათ ან არ შეუძლიათ წვდომა თქვენს საიტზე.
არა. მიუხედავად იმისა, რომ საძიებო სისტემის ლეგიტიმური ბოტები ემორჩილებიან robots.txt-ს, რეკლამის მიმოხილვის მცდელობები (Meta, TikTok, Google Ads) და მავნე სკრაპერები ხშირად უგულებელყოფენ აკრძალვის დირექტივებს. აქტიური სერვერის კიდეების ფილტრაცია Cloaker.net-ით საჭიროა არაავტორიზებული მცოცავების დასაბლოკად.
არ არის აუცილებელი. URL-ის აკრძალვა აჩერებს საძიებო ბოტებს მისი შინაარსის ცოცვას, მაგრამ თუ გარე ბმულები მიუთითებს ამ URL-ზე, Google-ს მაინც შეუძლია თავად URL-ის ინდექსირება. იმის უზრუნველსაყოფად, რომ გვერდი არასოდეს იყოს ინდექსირებული, ამის ნაცვლად გამოიყენეთ noindex მეტათეგი.
robots.txt ფაილი უნდა აიტვირთოს თქვენი ვებსაიტის დომენის ძირეულ დირექტორიაში (მაგ., https://example.com/robots.txt).
შეუფერხებლად მუშაობს თქვენს საყვარელ სარეკლამო ქსელებთან, ტრეკერებთან და ტრაფიკის წყაროებთან
აკონტროლეთ მცოცავი ტრაფიკი მასშტაბით
განათავსეთ 15 ms-ის ზღვარზე გადამისამართებები, გაფილტრეთ ბოტების მიმომხილველები და დაიცავით თქვენი სარეკლამო კამპანიები Cloaker.net-ით.
✓ საკრედიტო ბარათი არ არის საჭირო საცდელად · ✓ გაუქმება ნებისმიერ დროს · ✓ ქვემილიწამიანი შეყოვნება