Mozilla/Googlebot trägt jetzt zum Index bei

Beitrag von **bull** » 13.06.2005, 12:21

Bei einem Projekt ist auf 64.233.161.104 die Zahl der indizierten Seiten via site: "über Nacht" auf mehr als das Vierfache gestiegen.

Es handelt sich um Dateien, die bislang nur vom Mozilla-Googlebot geholt worden sind.

Könnt Ihr das mal bei Euren Projekten verifizieren?

von **Anzeige von ABAKUS** »

Beitrag von fo » 13.06.2005, 13:12

kann ich bei mir nicht feststellen. nur dass der mozilla bot sich seiten holt wie verrückt

Beitrag von **redcan** » 13.06.2005, 13:17

bei mir nicht, zzt. nur eingereichte sitemap.txt und robots.txt

von **Anzeige von ABAKUS** »

Beitrag von **Alpinist** » 13.06.2005, 13:21

ist bei mir schon länger so (ca. 8 Monate)

derzeit sind ca 90% der Zugriffe vom Mozillabot und 10% vom 'good old bot'...
... und der Index wächst genau so wie früher stetig an.

Grüsse,
Bernhard

Beitrag von **Chris2005** » 13.06.2005, 13:22

fo hat geschrieben:kann ich bei mir nicht feststellen. nur dass der mozilla bot sich seiten holt wie verrückt

Bei mir dasselbe. Allerdings hatte der den "normalen" Bot im Schlepptau, der sich dann die Seiten gegrabbt hat. Von daher ist eine Trennung der Effekte etwas schwierig.

Cache ist bei den google.de nicht aktuell (allerdings nicht bei allen Seiten). Bei allen andere DCs ist er aktuell

Chris

Beitrag von **Chris2005** » 16.06.2005, 02:18

Heute nacht hat der Mozilla Googlebot einige frisch erstellte Seiten gespidert, nachdem er sich vor ein paar Tagen die passenden Links dazu geholt hat. Mal abwarten, ob die Seiten auch im Index auftauchen.

Beitrag von **mario** » 16.06.2005, 06:01

site: zeigt bei mir auf 64.233.161.104 die normalen Seitenzahlen an.

N.B.
https://64.233.161.104/search?hl=de&q=%22**%22&lr= zeigt im Moment 4.1 Milliarden Seiten, aber in den Top10 erscheinen komplett andere Seiten als bisher.

Beitrag von **JR-EWING** » 16.06.2005, 09:25

https://64.233.161.104/search?hl=de&q=%22**%22&lr= zeigt im Moment 4.1 Milliarden Seiten

Gleiche Abfrage aber bei mir sind es nur 3,5 Milliarden

Beitrag von **mario** » 16.06.2005, 09:59

@JR-EWING

die Seitenzahlen verändern sich z.Z. mehrmals täglich. Noch sind immer nur 40-50% der max. Seitenzahl im Index beücksichtigt. Entweder das bleibt so, dann wurde mächtig ausgemistet oder Bourbon ist noch nicht zu Ende und wir sehen zum Schluss doch noch 100%

Beitrag von **Chris2005** » 20.06.2005, 22:32

Chris2005 hat geschrieben:Heute nacht hat der Mozilla Googlebot einige frisch erstellte Seiten gespidert, nachdem er sich vor ein paar Tagen die passenden Links dazu geholt hat. Mal abwarten, ob die Seiten auch im Index auftauchen.

Also bisher ist nix aufgetaucht. Andere vom "normalen" Googlebot gespiderter Seiten sind drin

War vielleicht eine Ausnahmen bei Bull mit dem Mozilla Bot.