robots.txt-Generator
Erstelle eine korrekte robots.txt mit Allow/Disallow-Regeln, Crawl-Delay und Sitemap-Direktiven über praktische Voreinstellungen. Kostenlos und läuft in deinem Browser.
Erstelle eine saubere robots.txt direkt in deinem Browser. Nichts wird hochgeladen — alles wird lokal erzeugt.
Lege diese Datei im Stammverzeichnis deiner Website ab, damit sie unter https://your-site.com/robots.txt erreichbar ist
Über robots.txt-Generator
Dieser robots.txt-Generator erstellt eine syntaktisch korrekte robots.txt-Datei aus User-Agent-Gruppen, jede mit eigenen Allow- und Disallow-Pfaden und einer optionalen Crawl-Delay. Fügen Sie beliebig viele Gruppen hinzu – eine Wildcard-*-Gruppe für alle Crawler plus spezifische Regeln für einzelne Bots – und listen Sie am Ende eine oder mehrere Sitemap-Direktiven auf.
Schnellvorlagen decken die üblichen Ausgangspunkte ab: alles erlauben, alles blockieren, eine sinnvolle WordPress-Konfiguration und eine Blockliste für gängige Bots. Starten Sie mit einer Vorlage und passen Sie dann die Pfade an Ihre Seitenstruktur an.
Die Datei wird lokal in Ihrem Browser erzeugt und niemals hochgeladen. Kopieren Sie die Ausgabe oder laden Sie robots.txt herunter, und platzieren Sie sie im Stammverzeichnis Ihrer Website, damit Crawler sie unter https://ihre-seite.de/robots.txt finden – genau dieser Ort ist der einzige, den Suchmaschinen prüfen.
So verwenden Sie robots.txt-Generator
- Starten Sie optional mit einer Vorlage: Alles erlauben, Alles blockieren, WordPress oder Gängige Bots blockieren.
- Bearbeiten Sie den User-Agent für jede Gruppe (zum Beispiel * oder Googlebot) und fügen Sie Disallow- und Allow-Pfade hinzu.
- Legen Sie optional eine Crawl-Delay in Sekunden fest und fügen Sie bei Bedarf weitere Gruppen für andere Crawler hinzu.
- Fügen Sie Ihre Sitemap-URLs hinzu, damit Crawler sie entdecken können.
- Kopieren Sie das Ergebnis oder laden Sie robots.txt herunter und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.