Problemlösung: Googlebot

Googlebot kann nicht auf CSS- und JS-Dateien zugreifen

Google weist Webseitenbetreiber per E-Mail auf Crawling-Probleme hin - wir zeigen Ihnen, wie Sie diese lösen können.

Seit einigen Tagen versendet Google an Webmaster Nachrichten, dass der Google-Bot nicht auf CSS und JavaScript-Dateien zugreifen kann. Google hat schon im Oktober 2014 neue Richtlinien für Webmaster bekannt gegeben, in denen auf das Problem hingewiesen wird:

Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings. (Quelle)

Das Blockieren von CSS und JS-Dateien, zum Beispiel in einer robots.txt (weitere Informationen zur robots.txt von Google), verhindert ein optimales Auslesen und Indexieren der Inhalte durch Google. Somit kann dies direkt zu schlechteren Rankings führen.

Die einfachste Möglichkeit dieses Problem zu umgehen, ist die Bearbeitung der Robots.txt.

So kann man für in der Robots.txt z.B. für Wordpress die Einträge

  • Disallow:/wp-content/plugins
  • Disallow: /wp-content/cache
  • Disallow: /wp-content/themes
  • Disallow: /wp-includes/

entfernen und somit die meisten Probleme umgehen. Für TYPO3 oder weitere Content Management Systeme gelten abweichende Pfade analog.

Die einfachste Lösung für alle Content-Managment-Systeme ist sicherlich:

User-Agent: Googlebot
Allow: .js
Allow: .css

Wer gezielt eine Datei freigeben möchte, kann das folgendermaßen machen:

  • Allow: /wp-content/themes/theme/style.css

Die freizugebenden Dateien können über die Google Webmastertools abgefragt werden. Unter Crawling > Abruf wie durch Google > Abrufen und rendern anzeigen, wird eine Liste generiert, welche Dateien genau blockiert werden. 

Abruf wie durch Google

Bei einer fehlerhaften Darstellung werden die Dateien und dessen Typ genau aufgelistet. Die hier stehenden Pfade können dann in der Robots.txt übernommen werden, um einzelne Stylesheets und Skript-Dateien für den Google-Bot freizugeben.

Sie haben Fragen?

Gerne helfen wir Ihnen, Ihre Website für die Indexierung durch Google zu verbessern. Rufen Sie uns einfach an:

Tel. 0511 / 64 21 59 30

pixelcreation Team
pixelcreation GmbH