কাস্টম Robots.txt
এবং ক্রলার বিল্ডার
ক্রলার নির্দেশাবলী কনফিগার করুন, অনুসন্ধান ইঞ্জিন অ্যাক্সেসের অনুমতিগুলি সংজ্ঞায়িত করুন, XML সাইটম্যাপ পাথগুলি নির্দিষ্ট করুন এবং ক্রল রেটগুলি অনায়াসে পরিচালনা করুন৷
robots.txt আউটপুট
RFC 9309 প্রস্তুতরিয়েল-টাইম রোবট এক্সক্লুশন প্রোটোকল ফাইল নির্মাতা
মূল Robots.txt সিনট্যাক্স এবং নিয়ম
রোবটস এক্সক্লুশন প্রোটোকল (REP) হল একটি RFC 9309 স্ট্যান্ডার্ড গভর্নিং সার্চ ইঞ্জিন ক্রল বাজেট এবং পাথ ইনডেক্সিং।
লক্ষ্য ক্রলার পরিবার
নিম্নলিখিত নিয়মগুলি কোন ক্রলারে প্রযোজ্য তা সংজ্ঞায়িত করে৷ 'ব্যবহারকারী-এজেন্ট: *' সমস্ত বটকে লক্ষ্য করে, যখন নির্দিষ্ট টোকেনগুলি পৃথক ক্রলারকে লক্ষ্য করে।
পাথ অ্যাক্সেস নিয়ম
'অস্বীকার করুন: /admin/' অনুগত ক্রলারকে ফোল্ডার স্ক্র্যাপ করা থেকে বিরত করে। 'অনুমতি দিন: /' সাব-রিসোর্সে স্পষ্ট অ্যাক্সেস দেয়।
সূচক ত্বরণ
আপনার XML সাইটম্যাপের নিখুঁত URL ঘোষণা করে, সার্চ ইঞ্জিনগুলিকে একটি কাঠামোগত ম্যানিফেস্টে সমস্ত ইনডেক্সযোগ্য পৃষ্ঠাগুলি আবিষ্কার করার অনুমতি দেয়৷
ক্রল রেট লিমিটিং
পরপর পৃষ্ঠার অনুরোধের মধ্যে একটি বিরতি (সেকেন্ডে) প্রয়োগ করে সার্ভার স্পাইক প্রতিরোধ করতে Bing এবং Yandex দ্বারা সমর্থিত।
বিজ্ঞাপন পর্যালোচনা বট এবং স্ক্র্যাপার robots.txt উপেক্ষা করে।
Cloaker.net দিয়ে বুলেটপ্রুফ এজ ফিল্টারিং প্রয়োগ করুন৷
যদিও সার্চ ইঞ্জিনগুলি robots.txtকে সম্মান করে, বিজ্ঞাপন পর্যালোচনাকারী (মেটা, Google বিজ্ঞাপন, TikTok) এবং স্ক্র্যাপাররা পাঠ্য নির্দেশাবলী উপেক্ষা করে। Cloaker.net 15ms এর নিচে প্রান্তে হার্ডওয়্যার আঙ্গুলের ছাপ এবং TLS সাইফার পরিদর্শন করে।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
ক্রলার নির্দেশিকা, অস্বীকৃত নিয়ম এবং ক্লোকিং প্রতিরক্ষা সম্পর্কে সাধারণ প্রযুক্তিগত প্রশ্ন।
একটি robots.txt ফাইল হল একটি ওয়েবসাইটের রুট ডিরেক্টরিতে রাখা একটি স্ট্যান্ডার্ড টেক্সট ফাইল যা সার্চ ইঞ্জিন রোবট এবং স্বয়ংক্রিয় ক্রলারকে বলে যে তারা আপনার সাইটে কোন URLগুলি অ্যাক্সেস করতে পারে বা করতে পারে না৷
না। যদিও বৈধ সার্চ ইঞ্জিন বটগুলি robots.txt মেনে চলে, বিজ্ঞাপন পর্যালোচনা ক্রলার (Meta, TikTok, Google Ads) এবং দূষিত স্ক্র্যাপারগুলি প্রায়ই অনুমতি না দেওয়ার নির্দেশ উপেক্ষা করে। অননুমোদিত ক্রলারগুলিকে ব্লক করতে Cloaker.net এর সাথে সক্রিয় সার্ভার-সাইড এজ ফিল্টারিং প্রয়োজন৷
অগত্যা নয়। একটি ইউআরএল অননুমোদিত করা সার্চ বটগুলিকে তার সামগ্রী ক্রল করা থেকে বিরত করে, কিন্তু যদি বাহ্যিক লিঙ্কগুলি সেই ইউআরএলের দিকে নির্দেশ করে, Google এখনও ইউআরএলটি নিজেই সূচী করতে পারে। একটি পৃষ্ঠা কখনই ইন্ডেক্স করা হয় না তা নিশ্চিত করতে, পরিবর্তে একটি noindex মেটা ট্যাগ ব্যবহার করুন।
robots.txt ফাইলটি অবশ্যই আপনার ওয়েবসাইট ডোমেনের রুট ডিরেক্টরিতে আপলোড করতে হবে (যেমন, https://example.com/robots.txt)।
আপনার প্রিয় বিজ্ঞাপন নেটওয়ার্ক, ট্র্যাকার এবং ট্র্যাফিক উত্সগুলির সাথে নির্বিঘ্নে কাজ করে৷
স্কেলে ক্রলার ট্রাফিক নিয়ন্ত্রণ করুন
উপ-15ms এজ রিডাইরেক্ট স্থাপন করুন, বট পর্যালোচনাকারীদের ফিল্টার করুন এবং Cloaker.net এর মাধ্যমে আপনার বিজ্ঞাপন প্রচারগুলিকে সুরক্ষিত করুন।
✓ ট্রায়ালের জন্য কোন ক্রেডিট কার্ডের প্রয়োজন নেই · ✓ যেকোনো সময় বাতিল করুন · ✓ সাব-মিলিসেকেন্ড লেটেন্সি