Zum Inhalt springen

Armel Silvère Dongou

Finance, écriture et entrepreneuriat

Wie nutzt man eine Sitemap, um eine Website effizient zu crawlen?

Eine Sitemap listet die URLs einer Website in einer strukturierten Datei auf, meist im XML-Format. Suchmaschinen lesen sie, um …

Femme analysant un sitemap imprimé sur un bureau en bois dans un bureau à domicile moderne

Eine Sitemap listet die URLs einer Website in einer strukturierten Datei auf, meist im XML-Format. Suchmaschinen lesen sie, um Seiten zu entdecken. Für Nutzer wird dieselbe Datei jedoch zu einem Werkzeug zur Erkundung: Sie hilft dabei, eine Website zu kartieren, ihre wichtigsten Bereiche zu erkennen und die Lücke zwischen veröffentlichten Inhalten und dem, was über die Navigation tatsächlich erreichbar ist, zu messen.

XML-, HTML- und TXT-Sitemaps: Was die einzelnen Formate über eine Website verraten

Nicht alle Sitemaps liefern dieselben Informationen. Das Format bestimmt, welche Daten sich bei einer Erkundung auslesen lassen.

Format Hauptzielgruppe Auswertbare Daten Grenzen bei der Erkundung
XML Suchmaschinen (Google, Bing) URL, Datum der letzten Änderung (lastmod), Erweiterungen für Bilder/Videos Enthält nicht immer verwaiste Seiten oder durch robots.txt blockierte Ressourcen
HTML Menschen Sichtbare Website-Struktur, anklickbare Links zu den einzelnen Bereichen Bei großen Websites oft unvollständig und manuell aktualisiert
TXT Suchmaschinen Unformatierte URL-Liste, eine URL pro Zeile Keine Metadaten (kein Datum, keine Priorität)

Für eine systematische Erkundung ist das XML-Format am nützlichsten. Es enthält das Datum lastmod, anhand dessen sich Seiten nach Aktualität sortieren lassen – sofern es tatsächliche Änderungen widerspiegelt. Google gibt an, dieses Datum zu verwenden, wenn es zuverlässig mit einer tatsächlichen Änderung des Inhalts übereinstimmt.

Die Tags changefreq und priority werden von Google hingegen nicht berücksichtigt. Sie als verlässliche Indikatoren zu behandeln, würde die Analyse verfälschen. Eine TXT-Sitemap enthält dagegen lediglich eine Liste von Adressen ohne Kontext: Sie dient als Ausgangspunkt, nicht als Audit-Tool.

Webentwickler steht vor einem Whiteboard mit einer handgezeichneten Sitemap in einem Startup-Büro

Die Sitemap mit den tatsächlich erreichbaren Seiten vergleichen

Am produktivsten ist es, eine Sitemap nicht einfach nur passiv zu lesen. Stattdessen sollte man sie mit anderen Datenquellen abgleichen, um Abweichungen zu ermitteln.

Vergleicht man die URLs einer XML-Sitemap mit den bei einem internen Crawl entdeckten URLs (Screaming Frog, Xenu oder ein anderes Tool), lassen sich zwei Arten von Problemen erkennen. Erstens Seiten, die in der Sitemap stehen, aber nicht intern verlinkt sind: Diese URLs existieren, doch kein Navigationslink führt zu ihnen. Zweitens Seiten, die intern verlinkt sind, aber in der Sitemap fehlen. Das kann auf eine fehlende Eintragung oder eine fehlerhaft generierte Datei hindeuten.

Wie diese Methode funktioniert, zeigt die Sitemap von Europe Entreprises: Sie veranschaulicht, wie ein Online-Verzeichnis seine URLs nach Kategorien und Subdomains strukturiert. So lässt sich die Website-Struktur leichter erfassen, noch bevor man die Website selbst durchstöbert.

In der Google Search Console zeigt der Sitemap-Bericht an, ob die Datei gelesen wurde und wie viele URLs sie enthält. Im Indexierungsbericht lassen sich anschließend die eingereichten, aber nicht indexierten URLs samt den angegebenen Gründen prüfen. Durch diesen Vergleich wird die Sitemap zu einem Diagnosewerkzeug und ist nicht mehr nur eine einfache Meldung.

Die häufigsten Abweichungen und ihre Bedeutung

  • URL in der Sitemap, aber nicht indexiert, mit dem Hinweis „Discovered – currently not indexed“: Google kennt die Seite, hat sie aber noch nicht als relevant genug für das Crawling eingestuft. Häufig liegt das an einer zu schwachen internen Verlinkung auf diese Seite.
  • Indexierte URL, die in der Sitemap fehlt: Die Seite wurde über Links entdeckt, ist aber nicht in der XML-Datei aufgeführt. Die Sitemap ist wahrscheinlich veraltet oder wurde mit zu restriktiven Filtern erstellt.
  • URL in der Sitemap, die einen 404-Fehler oder eine 301-Weiterleitung zurückgibt: Die Datei wurde nach dem Löschen oder Verschieben von Inhalten nicht aktualisiert. Jede fehlerhafte URL verschwendet das für die Website vorgesehene Crawl-Budget.

Spezialisierte Erkundung: Bilder, Videos und mehrsprachige Versionen in der Sitemap

Das XML-Sitemap-Protokoll unterstützt Erweiterungen, die den Umfang der Datei über klassische Seiten hinaus vergrößern. Bild- und Videoerweiterungen deklarieren Ressourcen, die Suchmaschinen beim alleinigen Durchsuchen des HTML-Codes möglicherweise nicht entdecken würden.

Eine Bild-Sitemap ordnet jedes Bild der URL der Seite zu, auf der es eingebunden ist. Bei einem E-Commerce-Shop oder Portfolio zeigt die Prüfung dieser Erweiterung, ob Produktbilder korrekt angegeben sind oder für Google Bilder unsichtbar bleiben.

Die hreflang-Erweiterung listet die Zuordnungen zwischen den Sprachversionen einer Seite auf. Bei einer mehrsprachigen Website lassen sich durch die Prüfung der hreflang-Sitemap Inkonsistenzen schnell erkennen: etwa eine französische Seite, die auf eine nicht mehr existierende englische Version verweist, oder eine spanische Version, die in der Deklaration fehlt.

Hände auf einer mechanischen Tastatur, während auf einem Ultrawide-Bildschirm eine XML-Sitemap in einem Code-Editor geöffnet ist

Die technische Korrektheit der XML-Datei prüfen

Bevor eine Sitemap zur Erkundung genutzt wird, sollte sichergestellt werden, dass die Datei gültig ist. Eine fehlerhafte Sitemap (nicht geschlossenes Tag, falsche Kodierung, relative statt absolute URL) wird von Suchmaschinen ignoriert und verfälscht jede manuelle Analyse.

  • Jede URL muss absolut sein und mit dem Protokoll (https://) beginnen. Relative URLs entsprechen nicht dem Standard von sitemaps.org.
  • Eine einzelne Sitemap darf höchstens 50 000 URLs enthalten. Bei größeren Listen teilt ein Sitemap-Index sie auf mehrere Dateien auf.
  • Der Eintrag in der robots.txt-Datei (Zeile Sitemap: gefolgt von der URL der Datei) stellt sicher, dass Suchmaschinen die Sitemap auch ohne die Search Console finden.

Sitemap und interne Verlinkung: zwei ergänzende, nicht austauschbare Werkzeuge

Ein häufiger Irrtum ist die Annahme, eine vollständige Sitemap mache eine solide interne Verlinkung überflüssig. Die Sitemap weist auf die Existenz einer Seite hin, macht sie aber nicht wichtig. Google entdeckt eine URL über die Sitemap, bewertet ihre Relevanz jedoch anhand der internen Links, die auf sie verweisen, der angebotenen Inhalte und ihrer Tiefe in der Website-Struktur.

Eine Seite, die in der Sitemap aufgeführt, aber von der Startseite aus erst nach vier Klicks erreichbar ist und keine kontextbezogenen Links aus anderen Inhalten erhält, bleibt gering gewichtet. Die Sitemap behebt ein Problem bei der Auffindbarkeit, nicht bei der Struktur.

Die Erkundung einer Website anhand ihrer Sitemap sollte daher stets mit einer Analyse der internen Verlinkung kombiniert werden. Eine saubere, aktuelle und technisch gültige Sitemap bleibt der zuverlässigste Ausgangspunkt, um zu verstehen, was eine Website Suchmaschinen zeigen möchte – und was sie ihnen vorenthält.

Wie nutzt man eine Sitemap, um eine Website effizient zu crawlen?