robots.txt – Steuerung des Crawling-Verhaltens im B2B-SEO
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei im Root-Verzeichnis Ihrer Website, mit der Sie Suchmaschinen mitteilen, welche Bereiche Ihrer Website gecrawlt werden dürfen – und welche nicht. Sie ist eines der ältesten und zugleich wichtigsten Instrumente im technischen SEO.
Besonders im B2B-Umfeld mit grossen Websites, sensiblen Bereichen oder vielen dynamischen URLs hilft die robots.txt, das Crawling gezielt zu steuern und Serverressourcen effizient zu nutzen.
Wie funktioniert die robots.txt?
Die Datei basiert auf einfachen Direktiven wie User-agent und Disallow. Ein Beispiel:
User-agent: * Disallow: /intern/
In diesem Fall wird allen Suchmaschinenbots (User-agent: *) der Zugriff auf das Verzeichnis /intern/ untersagt. Wichtig: Die robots.txt verhindert nur das Crawling, nicht die Indexierung, sofern die Seite auf anderem Wege verlinkt ist.
Typische Einsatzbereiche im B2B
- Ausschluss interner oder sensibler Verzeichnisse
- Vermeidung von Duplicate Content durch Filterseiten
- Steuerung des Crawl-Budgets bei grossen Websites
- Schutz temporärer Test- oder Staging-Umgebungen
- Hinweis auf die Sitemap.xml
Die robots.txt ist öffentlich aufrufbar unter www.ihredomain.ch/robots.txt und sollte regelmässig geprüft werden.
Best Practices für Ihre robots.txt
- Verwenden Sie
Disallownur für Seiten, die weder gecrawlt noch indexiert werden sollen. - Vermeiden Sie, wichtige Seiten versehentlich zu blockieren (z. B. durch globale Regeln).
- Verlinken Sie Ihre Sitemap mit:
Sitemap: https://www.ihredomain.ch/sitemap.xml - Testen Sie Ihre Datei mit der Google Search Console oder SEO-Tools.
Fazit
Die robots.txt ist ein zentrales Element der technischen SEO-Optimierung. Sie ermöglicht es B2B-Unternehmen, das Verhalten von Suchmaschinen gezielt zu steuern und die Indexierungsstrategie zu unterstützen. Eine korrekt konfigurierte robots.txt trägt dazu bei, unnötiges Crawling zu vermeiden, Serverlast zu reduzieren und die Sichtbarkeit relevanter Inhalte zu fördern.
Suchtrends und Marktanalysen sind der Schlüssel zu erfolgreichen digitalen Strategien. Wir zeigen Ihnen, was St. Gallen online bewegt, welche Begriffe Unternehmen unbedingt optimieren sollten und welche Wettbewerber bereits stark auf Google vertreten sind.
Welche Suchbegriffe sind in Verbindung mit St. Gallen besonders gefragt? Eine solche Keyword-Recherche ist die Basis für Ihre SEO-Strategie!
Welche Themen beschäftigen die Menschen in der Region St. Gallen aktuell (02/2025) am meisten? Verstehen Sie mit einer Google-Trends Analyse, was Ihre Kunden gerade interessiert!
Eine Analyse der Top-Player in den Suchergebnissen für St. Gallen, aufgeschlüsselt nach den wichtigsten Dienstleistungs-Branchen. Erkennen Sie mittels einer Wettbewerbs-Analyse, wer in Ihrer Branche dominiert und wie Sie aufholen können!
