Seite 1 von 2
Immer nur 1 Bot online
Verfasst: 03.03.2007, 11:45
von mobiman
Nachdem ich hier nun einige Stunden recherchiert habe und nichts gefunden habe was mein Problem direkt betrifft, versuche ich das hier mal zu schildern.
Ich habe mein Forum durch modrewrite linkoptimiert und just von dem Tag an kam Google schlagartig nur noch einzeln. Soll heißen, es ist immer nur ein Bot zeitgleich online.
Die Yahoo Bot kommen zu hauf, 20 - 30 Stück zeitgleich, ca. 2000 täglich. MSN 3 - 5 zeitgleich und ca 800 täglich.
Google Sitemap Statistik:
Anzahl der täglich gecrawlten Seiten
Höchstens / Durchschnittlich / Mindestens
6117 / 2387 / 111
Ich weiß nun so langsam nicht mehr was ich noch machen kann
Meine Foren ohne Modrewrite besucht Google massenhaft
Das Forum um welches es sich dreht
www.dashandyforum.de
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
Verfasst: 03.03.2007, 11:58
von oldInternetUser
Wahrscheinlich ist dein Forum damit langsamer geworden. Das merkt google - und schickt bloß noch einen Bot vorbei.
Verfasst: 03.03.2007, 12:11
von mobiman
Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.
Manchmal habe ich den Eindruck das die htaccess Schuld daran ist, da ich die htaccess auch entfernen muss damit Google Sitemap die Seite verifizieren kann. Anschließend kann ich sie wieder einstellen
Verfasst: 03.03.2007, 12:41
von ole1210
Sei doch froh, das google deinen Server nicht so belastet und weniger Traffic verursacht.
Wenn änderungen innerhalb von kurzer Zeit registriert sind, dann reicht es doch, wenn nur ein Bot da ist!
Verfasst: 03.03.2007, 12:44
von mobiman
ole1210 hat geschrieben:Sei doch froh, das google deinen Server nicht so belastet und weniger Traffic verursacht.
Das wäre kein Problem, Server hat Leistung satt
Verfasst: 03.03.2007, 12:48
von oldInternetUser
mobiman hat geschrieben:Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.
Und wie hast Du das gemessen? Etwa innerhalb des Scripts:
Scriptausführung 0.08 Sekunden
Falls ja: Mod_rewrite ist 'außen rum' - das läßt sich so nicht ermitteln.
Verfasst: 03.03.2007, 13:20
von mobiman
oldInternetUser hat geschrieben:Und wie hast Du das gemessen? Etwa innerhalb des Scripts:
Das haben wir vom Provider checken lassen, keine Ahnung was die für Möglichkeiten haben.
Verfasst: 03.03.2007, 13:25
von Rem
Ich frage mich, wenn jemand denkt, die "Zeit" wäre problematisch, er dann nicht in seinen "google-account" einloggt, dann auf "webmastertools" geht, uns sich anzeigen lässt, wie lange google denn nun effektiv für das Runterladen einer Seite braucht
Mal als Idee...
Also unter "Diagnostics", "Crawl Rate", "Time Spent Downloading a page".
Wenn es effektiv langsamer geworden ist, dann würde ich mich erst um
Wahrscheinlich ist dein Forum damit langsamer geworden. Das merkt google - und schickt bloß noch einen Bot vorbei.
Gedanken machen.
Verfasst: 03.03.2007, 13:47
von mobiman
Das habe ich natürlich geprüft
Dauer des Herunterladens einer Seite (in Millisekunden)
Höchstens / Durchschnittlich / Mindestens
2516 / 1726 / 885
Verfasst: 04.03.2007, 10:29
von melittaman
oldInternetUser hat geschrieben:mobiman hat geschrieben:Eigentlich nicht, haben vorher einen Test gemacht und nach der Optimierung. Mit der jetzigen Lösung ist es genauso schnell wie zuvor.
Und wie hast Du das gemessen? Etwa innerhalb des Scripts:
Scriptausführung 0.08 Sekunden
Falls ja: Mod_rewrite ist 'außen rum' - das läßt sich so nicht ermitteln.
Zum benchmarken was die Geschwindigkeit angeht kann man sehr gut as tool ab2 (Apache Benchmark welches mit dem Indianer kommt) benutzen - sinnigerweise von einem externen Server aus. Ergänzt um das Flag -c (gleichzeitiger Verbindungen) und das flag -n (Anzahl Verbindungen) kann man relativ realistische Ergebnisse erhalten. Wenn man das ganze in ein kleines Bashscript reinbaut, ist es auch möglich verschiedene Seiten in einem Durchgang zu benchmarken.
Verfasst: 05.03.2007, 00:05
von Scubi
Hmmm... ich finde das schon komisch, wenn Google nur noch mit einem Bot kommt.
Kommt natürlich auf die Seite an. PR5 läßt aber eigentlich auf reichlich Besuche vom Bot schliessen.
Hast Du evtl. was an der robots.txt geändert?
Auf der anderen Seite wäre ich froh, wenn meine Server weniger Last bei guter Listung hätten
Aber Du hast recht... Sorgen sollte man sich machen. Kann Zufall sein, aber durch stärkere Server wurde auch mein Ranking besser. Kann auch mit anderen Zufällen zusammen hängen.
Gruß Scubi
Verfasst: 05.03.2007, 09:56
von mobiman
Die
robots.txt ist eigentlich schon immer so wie sie jetzt ist.
Vielmehr mache ich mir sorgen um die htaccess und modrewrite, seit ich dieses verwende ist das so komisch mit Google. Ohne modrewrite, hatte ich über 300.000 Einträge in Google, mit modrewrite komme ich nie über 50.000, derzeit sogar nur 21.000 obwohl wir fast 300.000 Beiträge haben
Schon komisch das Ganze
Verfasst: 05.03.2007, 10:04
von mauri
hast du deinen ganzen forum, von heute auf morgen mir seo friendly urls umgestellt????
vielleicht hat google sich verschluckt, weil nun alle alten links tot sind und er nur neues vor sich hat!?
gruss
Verfasst: 05.03.2007, 10:17
von mobiman
Ja, von heute auf morgen umgestellt. Das ist genau am 15.03.2006 passiert und bis heute hat es Google nicht geschafft das Forum komplett neu zu indizieren.
Während sich Yahoo und msn nen Wolf indizieren, pennt Google fast ein
Verfasst: 05.03.2007, 10:33
von mauri
alle achtung, vor soetwas haette ich ja muffen.
aber das duerfte kein grund sein, das er dich nicht mehr besucht.
die session id's sind sicher draussen, vielleicht noch mal ueberpruefen?
sitemap, kommt er da dran?
die seiten die er anlaeuft, kommen die dann auch in den index? mit richtiger url?
