GoogleBot 2.1 faul, MozillaBot fleißig, Sitemap schuld?

[bonneville]

Hallo Leute,

wir haben ein beängstigendes Phänomen, was wir weder ändern noch erklären können.

Portal, general interest, PR8, im Juni > 1Mio Seiten bei allinurl:
Sitemap seit Juni online

Der Googlebot/2.1 (+https://www.google.com/bot.html) indizierte monatelang pro Tag ca. 15.000-20.000 Seiten, seit 30.07. nur noch <1000 am Tag.

Der Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html) crawlte in rhythmischen Abständen von ca. 4 Wochen >100.000 Seiten, sonst ca. 10 am Tag

Seit Einsatz der Sitemap crawlt Mozilla mit >20.000 Seiten am Tag und hat Mitte August mehrere hunderttausend Seiten aus dem Index gelöscht, nun haben wir nur noch ca. 350.000 in allinurl.

Der 2.1er Googlebot ist seit Mitte August nun auch extrem faul geworden: keine Seite mehr mit Datum in den SERPs, die Startseite seit Wochen entweder nicht sichtbar (bei Suche nach Domainname) oder hat ein beinaltes Cachedatum (10 Tage, z.Zt. Datum 15.07.(!))

Durch diese Häufung haben wir am 29.8. die Sitemap deaktiviert und gelöscht. Am Botverhalten hat sich nichts geändert.

Fragen nun:
Was kann ich tun, um den 2.1er Bot wieder zu tieferem Crawlen pro Tag und zu einem Deepcrawl zu "überreden"?
Ist dieser Zustand eine domainbezogene Strafe für einen Fauxpass? Sind Fehler bekannt, die dieses extrem schlechtere Spidern hervorrufen?
Warum ist meine Startseite seit Wochen nicht aktuell?

Vielen Dank und Gruß,
bonneville

[oldInternetUser]

Der Mozilla ist ein Überwacher/Ausputzer, der irgendwelche Dinge überprüft.

Der 2.1er Googlebot ist seit Mitte August nun auch extrem faul geworden: keine Seite mehr mit Datum in den SERPs, die Startseite seit Wochen entweder nicht sichtbar (bei Suche nach Domainname) oder hat ein beinaltes Cachedatum (10 Tage, z.Zt. Datum 15.07.(!))

Das hört sich nach einer bereits abgestraften Domain an, da scheint die Sache schon erledigt zu sein.

PS: Solche Dinge finden sich unabhängig von der Sitemap.

[cu-viper]

ich könnt kotzen - ich hab das gleiche problem.

hab vor paar wochen auf sitemap umgestellt mit nur negativem erfolg. dann sitemap gelöscht und auf der seite sitemap deaktiviert.

seither kommt der google bot 1x am tag und checkt meine index.php .. und nix weiter. der adsense bot war diesen monat noch garnicht da.

WAS KANN ICH TUN!

ohne aktuelles listing kann ich meine seite vergessen <grr>

mfg cu

[Keks]

@bonneville

wenn du mit Sitemap das Google Sitemap Feature meinst, welches du scheinbar seit einigen Wochen im EInsatz hast, kann ich das Verhalten leider bestätigen.

Auch bei mir / uns hat sich das Spiderverhalten seit dem Einsatz des Google Sitemaps Feature dramatisch verändert. Nicht zum Vorteil !!!!

Google Bot 2.1 kommt eigentlich gar nicht mehr , dafür der Mozilla.

Da meine Beobachtungen sich nicht nur auf eine "grosse" Domain beziehen und ich auch vor einigen Tagen Konatkt mit einem anderen Webmaster von einem "großen " Portal hatte, der die gleichen Beobachtungen seit dem Einsatz des Google Sitemap Features machen musste liegt das Spiderverhalten meiner ANsicht nach an derm Google Sitemap Feature.

Vorteile habe ich keine in der 4 wöchigen Testphase erkennen können. Schleppenden Seitenaufnahme, wenig aktuelle Seiten (Cache) etc.

Eigentlich genau das Gegenteil was Google damit erreichen will

Ich habe meinen Sitemap Account gelöscht, und habe den Eindruck das GB 2.1 nun wieder ein wenig häufiger vorbeischaut, nicht so oft wie vor dem Einsatz, aber immerhin

mfG
Keks

[buttheads]

Seit ihr sicher, das es am Einsatz der Sitemap liegt? Könnten andere Veränderungen bei google, die dort zeitgleich mit der Sitemap installiert worden sind nicht auch die Ursache für verändertes Spiderverhalten sein?

Ich frage deshalb, weil ich die Sitemaps nicht einsetze und trotzdem ein herhöhts Aufkommen vom Mozilla Bot habe...

Kann es nicht an einem veränderten DC-Algo liegen, für den der Mozilla Bot anscheinend die notwendigen Daten sammelt?

[cu-viper]

Mozilla bot hab ich garnich auf meiner seite .. <grr> .. von wo kommt der?

mfg cu

[johndoe]

Ich sehe momentan bei unseren Seiten ebenfalls eine sehr schleppende Indizierung. Teilweise dauert es mehrere Wochen, bis eine neue Seite aufgenommen wird.

Ich habe das Gefühl, dass momentan etwas mehr Rechenleistung gebraucht würde als zur Verfügung steht.

... Bei uns wird Sitemap noch nicht eingesetzt. Ich warte dann aber auch erst noch einmal

[bonneville]

@oldInternetUser

DC auf den Seiten der eigenen Domain haben wir versucht zui bekämpfen - ist schon beachtet worden. Welche Symptome muss man noch aufweisen, um vom Googlebot2.1 nicht mehr gemocht zu werden?

@buttheads

keine Änderungen in der Struktur, Code, robots.txt oder sonstwas signifikantes. Ein einziges Ding hat sich geändert: Die Seite ist von PR7 auf PR8.
Man sagt ja, dass je höher der PR, desto höher, intensiver und öfter kommt der Bot und crawlt. Vielleicht gibt es ein "Sparprogramm" was Seiten mit PR8-10 zwar sehr schön oft, dafür aber nicht tief spidert.
Also an Korrelationen fallen mir zu Mitte Juli echt nur die PR-Änderung ein.

Und weiter: selbst wenn man auf der Seite 60% onsite-DC hat, aber 40% unique und guten Content, erscheint es mir nicht verhältnismäßig, dass die Startseite und gute Seiten haerausfielen / haerausfallen.

Gruß und Dank für die replys - Bonneville

[buttheads]

keine Änderungen in der Struktur, Code, robots.txt oder sonstwas signifikantes.

Ich rede nicht von Veränderungen auf Euren Seiten sondern von Veränderungen in den Berechnungen bei Google. Ich persönlich habe beobachtet, das der Mozilla G-Bot sich seit einigen Monaten verstärkt mit dem Aussortieren von dem beschäftigt, was für Google nach DC aussieht. Aber meine Beobachtung kann da auch falsch sein.
Wenn auf der Seite keine Veränderungen passiert sind, aber ein verändertes listing passiert, liegt die Ursache vielleicht in der Veränderung der Berechnung des Listings.

Und weiter: selbst wenn man auf der Seite 60% onsite-DC hat, aber 40% unique und guten Content, erscheint es mir nicht verhältnismäßig, dass die Startseite und gute Seiten haerausfielen / haerausfallen.

Wenn der Google-Algo das genauso "sieht", habt Ihre keine Probleme!

Wenn da irgendwas passiert hat es vielleicht damit zu tun, das Google Sachen heute anders bewertet als noch vor ein paar Monaten - und sich einen feuchten Kehrricht darum schert, wa wir für verhältnismäßig halten und was nicht.

Back to topic:
Hier war die Frage, ob es an den Sitemaps liegen kann. Ich weiß das nicht. Ich habe nur ähnliche Sachen auch ohne Sitemaps bemerkt. Vielleicht bin ich aber auch sehr neurotisch im Moment, weil ich zu viel auf das DC-Problem reduziere . Würde mich freuen, wenn ich hier eines besseren belehrt werde und endlich einfacher handlbare technische Dinge oder Verlinkungen oder sowas als Ursache finden würde...

[irsic]

Ich kann nur vorherige Äußerungen bestätigen.

Auch bei mir kommt seit dem Einsatz der Sitemap kaum noch der Googlebot vorbei und holt sich meistens nur die Startseite, ganz im Gegensatz vor dem Einsatz der Sitemap.

Der Mozilla/5.0 crawlt hingegen ordentlich jeden Tag.

[Charles]

Das lahme Verhalten des Google-Bots kann ich auch seit ca. Anfang August bestätigen, allerdings ohne den Einsatz der Sitemap. Glaube auch nicht an eine Abstrafung, da die Seiten, die rausfliegen nach dem nächsten Deepcrawl wieder komplett drin sind...

Glaube eher, daß Google Kapazitätsprobleme hat und alle Cache-Versionen, die älter sind als eine gewisse Zeitspanne und in der 2. oder 3. Ebene liegen löscht. Hatten das Problem, daß Anfang August plötzlich einige tausend Seiten der 3. Ebene nur noch mit URL dargestellt waren, das dauerte ca. 1 Woche an und dann war der Spuk nach dem nächsten Deepcrawl wieder vorbei...

Jetzt ist das seit 2 Tagen schon wieder so... mal sehen...

Gruß
Charles

[bonneville]

Wäre dann natürlich schön, wenn Ihr schreibt, ob mit oder ohne Sitemap der 2.1er Googlebot auch so schwächelt, wann Seiten aus allinurl rausflogen und wann sie vor allem wieder drin waren. (wie bei Charles)

Inbesondere will ich erreichen, dass wir gemeinsam herausfinden, dass das seltsame Verhalten des GoogleBots seit Anfang August nicht am Einsatz der Sitemap hängt.

Einen Aspekt scheint man jedoch bestätigen zu können: Mit Sitemap crawlt der MozillaBot nach onsite-DC detaillierter und wirft Seiten aus dem Index, wo verschiedene Leute berichten, dass viele/alle (?) Seiten ab irgedeinem Datum wieder erscheinen. Sind das Summa Summarum wirklich Anzeichen für ein Kapazitätsproblem bei Google? (Bot schwächelt, Cache-Versionen werden gelöscht usw.)

Unsere Botstats: (ca. 1.3 Mio indexierbare Webseiten auf der Domain)
Datum, GoogleBot 2.1, MozillaBot
28.07.2005 33291 8944
29.07.2005 23698 2966
30.07.2005 13222 116
31.07.2005 3698 2
01.08.2005 1162 157
02.08.2005 486 146
03.08.2005 701 31156
04.08.2005 744 46089
05.08.2005 1335 48622
06.08.2005 952 48203
07.08.2005 1280 84880
08.08.2005 1202 126243
09.08.2005 417 107747
10.08.2005 587 126153
11.08.2005 1024 7794
12.08.2005 92 4789
13.08.2005 132 7865
14.08.2005 1802 3265
15.08.2005 106 4628
16.08.2005 222 7526
17.08.2005 186 4842
18.08.2005 165 4869
19.08.2005 6038 5606
20.08.2005 4520 10402
21.08.2005 4077 5230
22.08.2005 1336 21919
23.08.2005 711 29552
24.08.2005 279 33266
25.08.2005 241 28601
26.08.2005 1107 100397
27.08.2005 1009 45204
28.08.2005 855 46399
29.08.2005 537 14782
30.08.2005 759 35
31.08.2005 1020 454
01.09.2005 1007 1043
02.09.2005 1407 37518
03.09.2005 90 39611
04.09.2005 399 29100


Gruß Bonneville

[/bin/false]

Der Googlebot/2.1 (+https://www.google.com/bot.html) indizierte monatelang pro Tag ca. 15.000-20.000 Seiten, seit 30.07. nur noch <1000 am Tag.

Der Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html) crawlte in rhythmischen Abständen von ca. 4 Wochen >100.000 Seiten, sonst ca. 10 am Tag

Ich hab gerade mal genau bei mir geschaut.
Das Sitemap Feature nutze ich und der "Googlebot/2.1" ist sehr aktiv,
während der "Mozilla/5.0" nur alle paar Stunden mal vorbeischaut.
Trotzdem sind sehr viele Seiten nur mit URL im Index ...

Und dank der Sitemap holt sich wohl Google immer die neuen Seiten,
ich hab mal ein Globalupdate gemacht und schon hatte der Bot mehr als
20.000 Seiten gecrawlt ...

Sehr misterös das ganze ...

[bonneville]

@ /bin/false

Globalupdate? Wo kann ich diese Funktion finden? Ich habe im Sitemapaccount gesucht, ist das dort eine Funktion oder Button?

Gruß Bonneville

[/bin/false]

Globalupdate? Wo kann ich diese Funktion finden? Ich habe im Sitemapaccount gesucht, ist das dort eine Funktion oder Button?

Sorry, hab mich da wohl falsch ausgedrückt.
Meine Sitemap wird mit Zeitstempel der aktuellen Seite ausgeliefert.
Nun hab ich alle Seiten geändert und somit auch alle Zeitstempel auf
aktuell gesetzt. Da hat der Bot dann zugeschlagen ...

... verständlicher ?