Γεννήτρια robots.txt

Σχετικά με το Γεννήτρια robots.txt

Αυτός ο generator robots.txt δημιουργεί ένα συντακτικά σωστό αρχείο robots.txt από ομάδες user-agent, καθεμία με τις δικές της διαδρομές Allow και Disallow και προαιρετικό Crawl-delay. Προσθέστε όσες ομάδες χρειάζεστε — μια ομάδα με μπαλαντέρ * για όλους τους crawlers συν συγκεκριμένους κανόνες για μεμονωμένα bots — και καταχωρίστε μία ή περισσότερες οδηγίες Sitemap στο τέλος.

Γρήγορα προκαθορισμένα σύνολα καλύπτουν τα κοινά σημεία εκκίνησης: επιτρέψτε τα πάντα, αποκλείστε τα πάντα, μια λογική διαμόρφωση WordPress, και μια λίστα αποκλεισμού για κοινά bots. Ξεκινήστε από ένα προκαθορισμένο σύνολο, έπειτα προσαρμόστε τις διαδρομές ώστε να ταιριάζουν στη δομή του ιστότοπού σας.

Το αρχείο δημιουργείται τοπικά στο πρόγραμμα περιήγησής σας και δεν ανεβαίνει ποτέ. Αντιγράψτε την έξοδο ή κατεβάστε το robots.txt, έπειτα τοποθετήστε το στη ρίζα του ιστότοπού σας ώστε οι crawlers να το βρίσκουν στο https://your-site.com/robots.txt — αυτή η ακριβής τοποθεσία είναι η μόνη που ελέγχουν οι μηχανές αναζήτησης.

Πώς να χρησιμοποιήσετε το Γεννήτρια robots.txt

1. Προαιρετικά ξεκινήστε από ένα προκαθορισμένο σύνολο: Allow all, Block all, WordPress, ή Block common bots.
2. Επεξεργαστείτε το user-agent για κάθε ομάδα (για παράδειγμα * ή Googlebot) και προσθέστε διαδρομές Disallow και Allow.
3. Ορίστε ένα προαιρετικό Crawl-delay σε δευτερόλεπτα και προσθέστε περισσότερες ομάδες για άλλους crawlers αν χρειάζεται.
4. Προσθέστε τα URL του χάρτη ιστότοπού σας ώστε οι crawlers να μπορούν να τα εντοπίσουν.
5. Αντιγράψτε το αποτέλεσμα ή κατεβάστε το robots.txt, και ανεβάστε το στη ρίζα του ιστότοπού σας.

Συχνές ερωτήσεις