ABAKUS

Verfasst: **22.07.2008, 10:02**

Hallo Ihr,

ich hätte da eine Frage zur Crawling-Statistik, die momentan folgendes anzeigt:
Anzahl der täglich gecrawlten Seiten
Maximal 12031
Durchschnittlich 3832
Mindestens 18

Meine Frage geht jetzt dahin, warum der Googlebot an ein bis zwei Tagen pro Monat bei uns nur diese mind. 18 Seiten spidert?
Es interessiert mich, weil bei uns hausintern auf Grund eben jener Grafik ein riesen Theater losgegangen ist, denn irgendwann in diesem Frühjahr ging die Crawling-Menge von ca. 5000 Seiten an einem Tag auf 0 am nächsten zurück. Man vermutet (ich war damals noch nicht mit diesem Thema betraut), dass es an einer best. Aktion lag, wo wir von jetzt auf gleich ca. 1000 Seiten zusätzlich live gestellt haben. Das hat man dann rückgängig gemacht und glaubt jetzt, weil die Statistik dann wieder nach oben ging, dass es genau daran lag. Wenn ich mir aber jetzt den Verlauf seither angucke, dann kann ich eben immer wieder feststellen, dass der Googlebot Tage hat, an denen er nur eine Hand voll unserer Seiten spidert, obwohl wir seit dieser Aktion nix außergewöhnliches mehr gemacht haben.
Wie ist das nun: Gibt es für das Spider-Verhalten des Googlebots irgendeine rationale Erklärung, oder macht der wie er meint? Und ihr habt auch alle dieses Phänomen?

Verfasst: **22.07.2008, 10:09**

also bei meinen Projekten - habe es gerade eben überprüft - crawlt er die durchschnittliche Menge - also immer auf dem selben Niveau... Schwankungen sind normal - er kann nicht täglich immer dieselbe Menge an Dateien crawlen - kommt ja auch drauf an - wofür Google die Ressourcen benötigt - dann hängt es auch von vielen anderen Faktoren ab - PR, Links, Aktualität des Kontents - wenn er Bot immer wieder vorbeischaut und einen 304 vorgersetzt bekommt - also sich nichts geändert hat - dann ist doch wohl klar das er sich den scheiss nicht am nächsten Tag nochmal versucht zu holen...

Verfasst: **22.07.2008, 10:40**

wenn ihr so viele Seiten online stellt wäre doch ein eigene Crawling Statistik sinnvoll.

Die Angaben in den Webmastertools sind nicht immer aktuell und teilweise auch nicht richtig. Ich bekomme bei meiner eigene Crawling Auswertung fast immer andere Werte raus. Kann natürlich an der unterschiedlichen Auffassung der Statistiken liegen.

Das der Bot mal hackt, kann mit vielem zusammenhängen. Domain Umzug, beschiessnes DNS update. falsche .htaccess, usw.

Manchmal machen die Bots auch Urlaub und kommen recht spärlich oder gar nicht vorbei (siehe dazu einige Beiträge in der Blogosphäre).

Verfasst: **22.07.2008, 10:55**

Hallo Ihr zwei,

vielen Dank für Eure beruhigenden Antworten.

Was soll ich sagen, wir stehen noch ganz am Anfang des SEO, denn das haben wir die letzten Jahre sträflich vernachlässigt bzw. hatte sich hier auch der Gedanke breit gemacht, dass man uns in der Branche einfach kennt...

Eigene Statistiken wäre schön, aber auf die Schnelle nicht realisierbar, denn alles was mit unserem heiligen Server zu tun hat, kann nur von meinen Software-Kollegen gemacht werden und die sind derzeit Land unter mit deutlich wichtigeren Dingen - aber ich werde es mal ansprechen und auf offene Ohren hoffen.

Danke nochmal.

Verfasst: **22.07.2008, 11:37**

nur zur ergänzung.

Crawltrack.fr nutze ich.

einfach zu installieren. klein wenig Code muss inkludiert werden und fertig. Ein versierter USer sollte damit in 30 Minuten fertig sein. Je länger ihr keine Statistiken habt desto unwissender seit ihr.

Verfasst: **22.07.2008, 13:01**

Danke für den Tipp, aber so seltsam das jetzt klingen mag - php ist bei uns ein NoGo. Ich weiß nicht warum und wieso - es hat mir bis heute keiner erklären können, wollen, dürfen oder sonst was - ich muss mich einfach damit abfinden, dass wir hier etwas hinterwäldlerisch leben...

Verfasst: **22.07.2008, 13:19**

Danke für den Tipp, aber so seltsam das jetzt klingen mag - php ist bei uns ein NoGo.

das ist Seo-technisch kein Hinderniss - ich hab auch einige Projekte wo ich keine script-sprache einsetze - muss natürlich sagen - das dort Änderungen mächtig in Arbeit ausarten und manche Sachen nicht so schön realisierbar sind - aber ranken alle Top die Projekte ...

Verfasst: **22.07.2008, 13:42**

das ist Seo-technisch kein Hinderniss - ich hab auch einige Projekte wo ich keine script-sprache einsetze - muss natürlich sagen - das dort Änderungen mächtig in Arbeit ausarten und manche Sachen nicht so schön realisierbar sind - aber ranken alle Top die Projekte ...

Das meinte ich auch gar nicht, sondern die Empfehlung von bennos basiert auf php und ist damit für uns unbrauchbar.

Aber zu Deiner Anmerkung: momentan geht's uns auch noch gut, aber ich musste mir leider angucken, wie die Konkurrenz ihren Webauftritt optimieren hat lassen und da kann ich echt nur neidisch drein blicken.

Egal was auch immer ich jetzt guten Gewissens vorschlagen kann und werde, es wird bei uns nie den großen SEO-Effekt geben, denn wir haben viele grundlegende Dinge falsch gemacht (die Grundsteine dazu wurden schon weit vor'm Google-Erfolg gelegt), die man aus welchen Gründen auch immer (Angst vor'm Aufwand, Sturheit, ich weiß es nicht), nicht verändern möchte, auch wenn es uns bei Google verdammt viel bringen würde.

Und hier was für Euch zum schmunzlen: alles, was auf unseren Seiten nicht statisches html ist, kommt aus Visual Basic Programmen

ABAKUS

Crawling-Statistiken (Webmaster Tools)

Crawling-Statistiken (Webmaster Tools)