Die Überprüfung der Google Webmaster-Tools gehört für mich genauso zum Geschäft eines Webmasters, wie die Content-Pflege. Neben der Crawling-Häufigkeit, häufigen Suchbegriffen für die eigene Webseite und anderen Statistiken, findet sich dort auch ein Überblick über Web-Crawl-Fehler. Eine feine Sache. Warum? Ich sehe es so:
Eine Webpräsenz verändert sich im laufe der Zeit. Im normalen Betrieb werden HTML-Seiten verschoben oder gelöscht. Auch bei Änderungen am Content Management System (CMS) kann es passieren, dass einzelne Seiten nun unter einer neuen Adresse aufgerufen werden müssen. Diese Dynamik ist für eine Webpräsenz ganz normal. Schade ist dann nur, wenn der Webmaster vergisst oder nicht bemerkt, dass etwas verschoben oder gelöscht wurde.
Dann kann es passieren, dass ein Link von einer verweisenden Seite ins Leere führt und man dadurch einen wertvollen Backlink verliert. Und genau so etwas kann man mit der Web-Crawl-Fehler-Übersicht ausfindig machen.
Dort wird nämlich angezeigt, auf welche Fehler der Google Crawler stößt, wenn er versucht die Webseiten zu indizieren. Sobald man weiß welche Seiten nicht gefunden werden kann man entsprechend reagieren.
Einfach per .htaccess oder mit PHP suchmaschinenfreundlich weiterleiten.
Verschiedene Auswertetools der Log-Files zeigen auch an, welche vom Besucher aufgeruften Dateien, nicht gefunden worden. Auch diese Informationsquelle sollte regelmäßig überprüft werden.