Robots.txt, noindex und Canonical richtig verwenden

Aus HOSTING-STATION55 - Webhosting Wiki / FAQ
Zur Navigation springen Zur Suche springen

robots.txt, noindex und Canonical-Links lösen unterschiedliche Aufgaben. Eine falsche Kombination kann wichtige Seiten aus Suchmaschinen entfernen.

Unterschiede

Werkzeug Zweck Wichtiger Hinweis
robots.txt Crawling steuern verhindert nicht zuverlässig die Indexierung einer bereits bekannten URL
noindex Indexierung einer abrufbaren Seite verhindern Suchmaschine muss die Seite abrufen dürfen, um die Anweisung zu sehen
rel="canonical" bevorzugte URL bei ähnlichen Inhalten angeben Hinweis, keine Weiterleitung
Passwortschutz nicht öffentliche Testumgebung schützen für Staging zuverlässiger als robots.txt

robots.txt prüfen

  1. Öffnen Sie https://ihre-domain.example/robots.txt.
  2. Prüfen Sie, ob wichtige CSS-, JavaScript- oder Inhaltsbereiche blockiert werden.
  3. Verweisen Sie bei Bedarf auf die korrekte Sitemap.
  4. Testen Sie Änderungen mit Suchmaschinenwerkzeugen.

noindex verwenden

Verwenden Sie noindex für Seiten, die öffentlich erreichbar, aber nicht in Suchergebnissen erscheinen sollen. Entfernen Sie die Anweisung vor dem Livegang einer Staging-Kopie.

Canonical verwenden

Jede indexierbare Seite sollte konsistente interne Links, Sitemap-URL und Canonical-Adresse verwenden. Setzen Sie nicht pauschal alle Canonicals auf die Startseite.

Häufige Fehler

  • Staging nur über robots.txt geschützt
  • noindex und gleichzeitige robots.txt-Blockierung
  • Canonical auf eine nicht erreichbare oder weiterleitende URL
  • HTTP-, HTTPS-, www- und Nicht-www-Versionen widersprüchlich
  • alte Testdomains in Canonical oder Sitemap

Verwandte Artikel

Abgerufen von „https://webhosting-glossar.de/index.php?title=Robots.txt,_noindex_und_Canonical_richtig_verwenden&oldid=682“