Immer nur 1 Bot online

[mobiman]

Nachdem ich hier nun einige Stunden recherchiert habe und nichts gefunden habe was mein Problem direkt betrifft, versuche ich das hier mal zu schildern.

Ich habe mein Forum durch modrewrite linkoptimiert und just von dem Tag an kam Google schlagartig nur noch einzeln. Soll heißen, es ist immer nur ein Bot zeitgleich online.

Die Yahoo Bot kommen zu hauf, 20 - 30 Stück zeitgleich, ca. 2000 täglich. MSN 3 - 5 zeitgleich und ca 800 täglich.

Google Sitemap Statistik:

Anzahl der täglich gecrawlten Seiten

Höchstens / Durchschnittlich / Mindestens

6117 / 2387 / 111

Ich weiß nun so langsam nicht mehr was ich noch machen kann

Meine Foren ohne Modrewrite besucht Google massenhaft

Das Forum um welches es sich dreht www.dashandyforum.de

[oldInternetUser]

Wahrscheinlich ist dein Forum damit langsamer geworden. Das merkt google - und schickt bloß noch einen Bot vorbei.

[mobiman]

Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.

Manchmal habe ich den Eindruck das die htaccess Schuld daran ist, da ich die htaccess auch entfernen muss damit Google Sitemap die Seite verifizieren kann. Anschließend kann ich sie wieder einstellen

[ole1210]

Sei doch froh, das google deinen Server nicht so belastet und weniger Traffic verursacht.

Wenn änderungen innerhalb von kurzer Zeit registriert sind, dann reicht es doch, wenn nur ein Bot da ist!

[mobiman]

Sei doch froh, das google deinen Server nicht so belastet und weniger Traffic verursacht.

Das wäre kein Problem, Server hat Leistung satt

[oldInternetUser]

Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.

Und wie hast Du das gemessen? Etwa innerhalb des Scripts:

Scriptausführung 0.08 Sekunden

Falls ja: Mod_rewrite ist 'außen rum' - das läßt sich so nicht ermitteln.

[mobiman]

Und wie hast Du das gemessen? Etwa innerhalb des Scripts:

Das haben wir vom Provider checken lassen, keine Ahnung was die für Möglichkeiten haben.

[Rem]

Ich frage mich, wenn jemand denkt, die "Zeit" wäre problematisch, er dann nicht in seinen "google-account" einloggt, dann auf "webmastertools" geht, uns sich anzeigen lässt, wie lange google denn nun effektiv für das Runterladen einer Seite braucht

Mal als Idee...

Also unter "Diagnostics", "Crawl Rate", "Time Spent Downloading a page".

Wenn es effektiv langsamer geworden ist, dann würde ich mich erst um

Wahrscheinlich ist dein Forum damit langsamer geworden. Das merkt google - und schickt bloß noch einen Bot vorbei.

Gedanken machen.

[mobiman]

Das habe ich natürlich geprüft

Dauer des Herunterladens einer Seite (in Millisekunden)

Höchstens / Durchschnittlich / Mindestens

2516 / 1726 / 885

[melittaman]

Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.

Und wie hast Du das gemessen? Etwa innerhalb des Scripts:

Scriptausführung 0.08 Sekunden

Falls ja: Mod_rewrite ist 'außen rum' - das läßt sich so nicht ermitteln.

Zum benchmarken was die Geschwindigkeit angeht kann man sehr gut as tool ab2 (Apache Benchmark welches mit dem Indianer kommt) benutzen - sinnigerweise von einem externen Server aus. Ergänzt um das Flag -c (gleichzeitiger Verbindungen) und das flag -n (Anzahl Verbindungen) kann man relativ realistische Ergebnisse erhalten. Wenn man das ganze in ein kleines Bashscript reinbaut, ist es auch möglich verschiedene Seiten in einem Durchgang zu benchmarken.

[Scubi]

Hmmm... ich finde das schon komisch, wenn Google nur noch mit einem Bot kommt.

Kommt natürlich auf die Seite an. PR5 läßt aber eigentlich auf reichlich Besuche vom Bot schliessen.

Hast Du evtl. was an der robots.txt geändert?

Auf der anderen Seite wäre ich froh, wenn meine Server weniger Last bei guter Listung hätten

Aber Du hast recht... Sorgen sollte man sich machen. Kann Zufall sein, aber durch stärkere Server wurde auch mein Ranking besser. Kann auch mit anderen Zufällen zusammen hängen.
Gruß Scubi

[mobiman]

Die robots.txt ist eigentlich schon immer so wie sie jetzt ist.

Vielmehr mache ich mir sorgen um die htaccess und modrewrite, seit ich dieses verwende ist das so komisch mit Google. Ohne modrewrite, hatte ich über 300.000 Einträge in Google, mit modrewrite komme ich nie über 50.000, derzeit sogar nur 21.000 obwohl wir fast 300.000 Beiträge haben

Schon komisch das Ganze

[mauri]

hast du deinen ganzen forum, von heute auf morgen mir seo friendly urls umgestellt????

vielleicht hat google sich verschluckt, weil nun alle alten links tot sind und er nur neues vor sich hat!?

gruss

[mobiman]

Ja, von heute auf morgen umgestellt. Das ist genau am 15.03.2006 passiert und bis heute hat es Google nicht geschafft das Forum komplett neu zu indizieren.

Während sich Yahoo und msn nen Wolf indizieren, pennt Google fast ein

[mauri]

alle achtung, vor soetwas haette ich ja muffen.


aber das duerfte kein grund sein, das er dich nicht mehr besucht.

die session id's sind sicher draussen, vielleicht noch mal ueberpruefen?
sitemap, kommt er da dran?

die seiten die er anlaeuft, kommen die dann auch in den index? mit richtiger url?