কাস্টম Robots.txt
এবং ক্রলার বিল্ডার

ক্রলার নির্দেশাবলী কনফিগার করুন, অনুসন্ধান ইঞ্জিন অ্যাক্সেসের অনুমতিগুলি সংজ্ঞায়িত করুন, XML সাইটম্যাপ পাথগুলি নির্দিষ্ট করুন এবং ক্রল রেটগুলি অনায়াসে পরিচালনা করুন৷

প্রিসেট:

robots.txt আউটপুট

RFC 9309 প্রস্তুত

রিয়েল-টাইম রোবট এক্সক্লুশন প্রোটোকল ফাইল নির্মাতা

ফরম্যাট করা নির্দেশমূলক পাঠ্য
utf-8 plain text
রুট ডিরেক্টরিতে আপলোড করুন: /robots.txt XML সাইটম্যাপ তৈরি করুন →
নির্দেশিক টেলিমেট্রি
প্রোটোকল স্ট্যান্ডার্ড: RFC 9309 / REP
রুট ফাইল পাথ: /robots.txt
ক্রলার স্থিতি অনুসন্ধান করুন: স্ট্যান্ডার্ড ইনডেক্সিং
নির্দেশিক রেফারেন্স

মূল Robots.txt সিনট্যাক্স এবং নিয়ম

রোবটস এক্সক্লুশন প্রোটোকল (REP) হল একটি RFC 9309 স্ট্যান্ডার্ড গভর্নিং সার্চ ইঞ্জিন ক্রল বাজেট এবং পাথ ইনডেক্সিং।

User-agent Directive

লক্ষ্য ক্রলার পরিবার

নিম্নলিখিত নিয়মগুলি কোন ক্রলারে প্রযোজ্য তা সংজ্ঞায়িত করে৷ 'ব্যবহারকারী-এজেন্ট: *' সমস্ত বটকে লক্ষ্য করে, যখন নির্দিষ্ট টোকেনগুলি পৃথক ক্রলারকে লক্ষ্য করে।

অনুমতি না দেওয়া এবং অনুমতি দিন

পাথ অ্যাক্সেস নিয়ম

'অস্বীকার করুন: /admin/' অনুগত ক্রলারকে ফোল্ডার স্ক্র্যাপ করা থেকে বিরত করে। 'অনুমতি দিন: /' সাব-রিসোর্সে স্পষ্ট অ্যাক্সেস দেয়।

সাইটম্যাপ ঘোষণা

সূচক ত্বরণ

আপনার XML সাইটম্যাপের নিখুঁত URL ঘোষণা করে, সার্চ ইঞ্জিনগুলিকে একটি কাঠামোগত ম্যানিফেস্টে সমস্ত ইনডেক্সযোগ্য পৃষ্ঠাগুলি আবিষ্কার করার অনুমতি দেয়৷

ক্রল-বিলম্বের নিয়ম

ক্রল রেট লিমিটিং

পরপর পৃষ্ঠার অনুরোধের মধ্যে একটি বিরতি (সেকেন্ডে) প্রয়োগ করে সার্ভার স্পাইক প্রতিরোধ করতে Bing এবং Yandex দ্বারা সমর্থিত।

সক্রিয় ক্রলার প্রতিরক্ষা

বিজ্ঞাপন পর্যালোচনা বট এবং স্ক্র্যাপার robots.txt উপেক্ষা করে।
Cloaker.net দিয়ে বুলেটপ্রুফ এজ ফিল্টারিং প্রয়োগ করুন৷

যদিও সার্চ ইঞ্জিনগুলি robots.txtকে সম্মান করে, বিজ্ঞাপন পর্যালোচনাকারী (মেটা, Google বিজ্ঞাপন, TikTok) এবং স্ক্র্যাপাররা পাঠ্য নির্দেশাবলী উপেক্ষা করে। Cloaker.net 15ms এর নিচে প্রান্তে হার্ডওয়্যার আঙ্গুলের ছাপ এবং TLS সাইফার পরিদর্শন করে।

সক্রিয় বট এবং রিভিউয়ার ইন্টারসেপশন
সাব-15ms একক-হপ এজ পুনঃনির্দেশ
প্রি-ফিল্টার করা মেটা এবং Google স্বাক্ষর
গতিশীল দেশ, ডিভাইস এবং ASN রাউটিং
বিনামূল্যে ট্রায়াল শুরু করুন তাত্ক্ষণিক সেটআপ · জিরো কোড সেটআপ
সমর্থন ও নির্দেশনা

প্রায়শই জিজ্ঞাসিত প্রশ্ন

ক্রলার নির্দেশিকা, অস্বীকৃত নিয়ম এবং ক্লোকিং প্রতিরক্ষা সম্পর্কে সাধারণ প্রযুক্তিগত প্রশ্ন।

একটি robots.txt ফাইল কি?

একটি robots.txt ফাইল হল একটি ওয়েবসাইটের রুট ডিরেক্টরিতে রাখা একটি স্ট্যান্ডার্ড টেক্সট ফাইল যা সার্চ ইঞ্জিন রোবট এবং স্বয়ংক্রিয় ক্রলারকে বলে যে তারা আপনার সাইটে কোন URLগুলি অ্যাক্সেস করতে পারে বা করতে পারে না৷

robots.txt কি বিজ্ঞাপন পর্যালোচনা ক্রলার থেকে অ্যাফিলিয়েট ফানেলকে রক্ষা করে?

না। যদিও বৈধ সার্চ ইঞ্জিন বটগুলি robots.txt মেনে চলে, বিজ্ঞাপন পর্যালোচনা ক্রলার (Meta, TikTok, Google Ads) এবং দূষিত স্ক্র্যাপারগুলি প্রায়ই অনুমতি না দেওয়ার নির্দেশ উপেক্ষা করে। অননুমোদিত ক্রলারগুলিকে ব্লক করতে Cloaker.net এর সাথে সক্রিয় সার্ভার-সাইড এজ ফিল্টারিং প্রয়োজন৷

robots.txt-এ একটি অস্বীকৃত নিয়ম কি একটি পৃষ্ঠাকে ইন্ডেক্স করা থেকে বাধা দেয়?

অগত্যা নয়। একটি ইউআরএল অননুমোদিত করা সার্চ বটগুলিকে তার সামগ্রী ক্রল করা থেকে বিরত করে, কিন্তু যদি বাহ্যিক লিঙ্কগুলি সেই ইউআরএলের দিকে নির্দেশ করে, Google এখনও ইউআরএলটি নিজেই সূচী করতে পারে। একটি পৃষ্ঠা কখনই ইন্ডেক্স করা হয় না তা নিশ্চিত করতে, পরিবর্তে একটি noindex মেটা ট্যাগ ব্যবহার করুন।

কোথায় robots.txt ফাইল আপলোড করা উচিত?

robots.txt ফাইলটি অবশ্যই আপনার ওয়েবসাইট ডোমেনের রুট ডিরেক্টরিতে আপলোড করতে হবে (যেমন, https://example.com/robots.txt)।

আপনার প্রিয় বিজ্ঞাপন নেটওয়ার্ক, ট্র্যাকার এবং ট্র্যাফিক উত্সগুলির সাথে নির্বিঘ্নে কাজ করে৷

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

স্কেলে ক্রলার ট্রাফিক নিয়ন্ত্রণ করুন

উপ-15ms এজ রিডাইরেক্ট স্থাপন করুন, বট পর্যালোচনাকারীদের ফিল্টার করুন এবং Cloaker.net এর মাধ্যমে আপনার বিজ্ঞাপন প্রচারগুলিকে সুরক্ষিত করুন।

✓ ট্রায়ালের জন্য কোন ক্রেডিট কার্ডের প্রয়োজন নেই  ·  ✓ যেকোনো সময় বাতিল করুন  ·  ✓ সাব-মিলিসেকেন্ড লেটেন্সি