simple
Robots.txt Generator ToolHQ — simple
ToolHQ দিয়ে একটি robots.txt ফাইল ভিজ্যুয়াল বিল্ডার দিয়ে তৈরি করুন।
Rule 1
User-agent: * Allow: / Disallow: /admin Sitemap: https://example.com/sitemap.xml
কীভাবে ব্যবহার করবেন Robots.txt Generator ToolHQ
1
আপনার crawl rules নির্বাচন করুন
সার্চ ইঞ্জিন ক্রলারদের জন্য আপনি যে URLs এবং crawl methods অনুমতি দিতে বা নিষিদ্ধ করতে চান তা নির্বাচন করুন
2
আপনার ফাইল কাস্টমাইজ করুন
আপনার ওয়েবসাইটের নির্দিষ্ট চাহিদা অনুযায়ী directives যোগ করুন বা সংশোধন করুন, যেমন নির্দিষ্ট পৃষ্ঠা বা user agents অনুমতি না দেওয়া।
3
আপনার robots.txt ফাইল ডাউনলোড করুন
আপনার custom robots.txt ফাইল পান এবং আপনার ওয়েবসাইটের root directory তে আপলোড করুন