Crawlability von Webseiten – SEO-Grundlagen

Die Crawlability einer Website bezeichnet die Benutzerfreundlichkeit für die Suchmaschinen. Wie einfach oder schwer fällt es dem Crawler einer Suchmaschine, die Seiteninhalte Ihrer Website zu erfassen? Es gibt ein paar einfache Regeln beziehungsweise Vorkehrungen, mit denen sich die Crawlability einer Website steigern lässt.

Wie schnell ist Ihr Server?

Das ist der wahrscheinlich wichtigste Punkt, wenn es um die Crawlability beziehungsweise um deren Verbesserung geht. Eine Seite die schnell geladen wird, freut Mensch und Maschine. Das häufigste Hindernis in diesem Bereich ist der Rechner des Users und dessen Internetverbindung. Das haben Sie aber nicht in der Hand. Was Sie optimieren können ist, wie schnell Ihr Server auf Anfragen (sogenannte requests) reagiert oder besser gesagt reagieren kann.

Am besten Sie buchen einen eigenen Server im Rechenzentrum. Hier können Sie davon ausgehen, dass die Bandbreite der Internetverbindung nicht so sehr für den Download, sondern hauptsächlich für den Upload zur Verfügung steht und auch insgesamt groß genug ist, um nicht nur Ihre, sondern auch viele andere Websites adäquat auszuliefern. Außerdem stehen in einem Rechenzentrum meistens Server der neuesten Generation, was sich auch auf die Performance beim Seitenaufbau auswirkt. Eine Seite die schnell geladen wird, kann der Crawler auch schnell analysieren.

Wie ist Ihre Seitenstruktur?

Auch bei der Seitenstruktur können Probleme auftreten. Das beginnt bereits mit dem URL. Viele Webseiten werden heute dynamisch generiert. Das geschieht durch die Übergabe von Parametern in der URL. Weder Mensch noch Suchmaschine mögen das besonders. Daher sollten Sie für Ihre öffentlichen Seiten ein sogenanntes URL-Rewriting durchführen. Kurz gesagt geben Sie Ihren Seiten damit sprechende URLs. Aus www.seosweet.de?param1=xyz wird zum Beispiel www.seosweet.de/blog.

Weiter geht es mit der eigentlichen Seitenstruktur. Wie erfolgt der Seitenaufbau? Ein Header, dann das Menü, dann Werbung? Noch mehr Werbung? Ein paar Bilder und Grafiken? Hinweise auf Partner und andere Organisationen? Eine interne Suchfunktion? Wann kommt der wirklich relevante Content, der indexiert werden soll?

Welche Technik verwenden Sie für den Aufbau Ihrer Seite?

Ajax, HTML, JavaScript, Frames? Bei HTML ist alles in Ordnung. Mit Ajax und JavaScript haben viele Suchmaschinen Mühe. Kleine Scripte können sie noch stemmen, aber wenn das ausufert, treten Probleme auf. Daher gehören Scripte eigentlich in eine eigene Datei, aus der sie bei Bedarf geladen werden.

Noch größere Probleme gibt es, wenn Frames verwendet werden. Frames sind eigentlich eine hübsche Methode, um eine Webseite zu strukturieren. Header, Menü und Contentbereich – alles wunderbar. Leider kommen die Suchmaschinen aber nicht an den Contentbereich heran. Das heißt, wenn Sie möchten, dass die Frames indexiert werden, müssen Sie im Noframe-Bereich ausführlich und exakt beschreiben, was sich auf der Seite abspielt. Das erschwert wiederum die Crawlability Ihrer Seite und bedeutet doppelte Arbeit. Daher sollten sie Frame-Seiten vermeiden beziehungsweise auf andere Techniken umstellen.

Inhalt einer Seite

Wenn es um den Inhalt einer Seite geht, muss man bei der Crawlability unterscheiden. Auf der einen Seite steht der Quellcode, auf der anderen Seite die Inhalte, die Sie zeigen möchten. Beide sind wichtig. Da ist zunächst der Quellcode. Abgesehen von den Scripten, die ich weiter oben schon kurz angesprochen habe, kommt es auch darauf an, dass der Quellcode Ihrer Seite fehlerfrei ist. Das sorgt dafür, dass sie schnell aufgebaut wird und dass der Crawler nicht an einer Stelle hängen bleibt. Das betrifft zum Beispiel auch kaputte Links. Die Crawler folgen den Links einer Webseite. Wenn diese ins digitale Nirwana zeigen, spricht das nicht für die Qualität Ihrer Webseiten und verlangsamt die Crawler.

Kommen wir zum Content, also dem eigentlichen Inhalt. Auch können ein paar Fehler entstehen, die jedoch leicht zu vermeiden sind. Da wäre zum einen der Einsatz von Flash. Flash mögen die Suchmaschinen nicht, weil eine Seite dadurch häufig langsam wird. Außerdem können sie es nicht analysieren. Auch große und übergroße Grafiken sind auf einer Internetseite fehl am Platz. Das einzige, was Crawler wirklich gut finden, ist Text. Denn den können Suchmaschinen im Gegensatz zu fast allem anderen analysieren.

Mit Hilfe einer Sitemap, der robots.txt und der XML-Sitemap speziell für Google, erleichtern Sie den Suchmaschinen die Indexierung Ihrer Website ganz beträchtlich. Damit können Sie den Suchmaschinen mitteilen, welche Ihrer Seiten Sie selbst für besonders relevant halten und welche Seiten von den Suchmaschinen nicht indexiert werden sollen. Nutzen Sie das, um die Crawlability Ihrer Site zu steigern.

Weitere Tipps und Informationen zum Thema finden Sie hier (zwar in Englisch, aber leicht verständlich).

Marko Engelberth 94 posts

Mitbegründer von Seosweet. Tester, Lektor sowie Online-Redakteur. Und hin und wieder Webentwickler.

7 Kommentare

  • Website Analyse (5 Jahren ago) Reply

    [...] Genaue Zahlen über die User und Daten zum Userverhalten kann man natürlich nur erhalten, wenn man die Website selbst betreibt oder wenn man im Auftrag des Webseitenbetreibers handelt. Hier zeigt sich häufig enormes Potential. Hat die Seite beispielsweise viele User, die aber alle schnell wieder verschwinden und auch nicht mehr wiederkommen, ist suchmaschinentechnisch eigentlich alles in Ordnung. Dennoch muss der Grund für dieses Verhalten möglichst schnell gefunden und behoben werden, sonst macht sich das auf Dauer auch im Suchmaschinenranking bemerkbar. Hat die Site andererseits kaum User, die über die gängigen Suchmaschinen zu Ihr kommen, muss man schauen, wie man das verbessern kann. [...]

  • Interessanter Artikel dem ich ergänzend noch hinzufügen würde, dass es neben fehlerfreien Quellcode in erster Linie auch auf die semantische Auszeichnung der Inhalte ankommt, wodurch die Crawlability der Webseite ebenfalls verbessert werden kann. Wobei die effektivere Crawlability eher ein netter Nebeneffekt ist, denn zugrunde liegt dem eher ein barrierearmer oder -freier Zugang der Inhalte für Besucher mit technischen oder körperlichen Einschränkungen.

    Das heißt, bedient man die Accessibility erhält man eine Crawlability als Nebeneffekt hinzu.

  • admin (4 Jahren ago) Reply

    @Heiko
    Da gebe ich Dir recht. Hinsichtlich der semantischen Auszeichnung waren wir hier mal recht ausführlich:

    http://www.seosweet.de/blog/2012/07/08/microformate-2-0/

  • [...] Linie sollte die Struktur übersichtlich und wenig komplex sein. Das beeinflusst dann auch die Crawlability, wobei sich der Punkt in der Umfrage eigentlich eher auf andere technische Voraussetzungen bezieht, [...]

  • […] Suchmaschinen - ranking-abc.de Erweiterte Crawlability: Don’t waste robot-time! - seo-book.de Crawlability von Webseiten – SEO-Grundlagen – seosweet.de Richtlinien für Webmaster – support.google.com 10 Crawlability Overlooks […]

  • […] hat, geht es Google nicht bloß um die Suchmaschinenfreundlichkeit im technischen Sinne, also die Crawlability. Auch strukturell und mehr oder weniger inhaltlich werden Maßnahmen empfohlen um das […]

  • […] Er steht im Quelltext jeder Webseite ganz oben, noch vor dem ersten HTML-Tag und beginnt mit „<!DOCTYPE html …>“. Über den Doctype teilt man dem Browser mit, welche HTML-Elemente auf einer Webseite verwendet werden. Anhand dieser Informationen arbeitet die Rendering-Engine des Browsers. Hat eine Webseite den falschen Doctype erkennt der Browser viele HTML-Elemente nicht oder nicht richtig. Das kann im Quellcode einer Webseite zu einer ungeahnten Menge an Fehlern führen. Schlimmstenfalls fällt der Browser, beziehungsweise die Rendering-Engine in den Standard-Modus zurück. Dann versucht der Browser die Webseite so gut wie möglich darzustellen. Das gelingt den Browsern erstaunlich gut, auch bei vielen Fehlern im Code. Das visuelle Ergebnis ist also kein verlässlicher Gradmesser für die Qualität des Seitenquelltextes. […]

Leave a Reply

Rules of the Blog
Do not post violating content, tags like bold, italic and underline are allowed that means HTML can be used while commenting. Lorem ipsum dolor sit amet conceur half the time you know i know what.

Loading Facebook Comments ...

No Trackbacks.