Googlebot/2.1 (+http://www.google.com/bot.html)

[bugscout]

moin moin,

HTTP/1.1 GoogleBot/2.1

HTTP/1.1 gehört nicht zur kennung des bots

kann man immer noch nach googlebot in den logs schauen

du kannst die logfiles im editor öffnen und dann nach "googlebot" suchen.

im moment sieht es so aus als wenn sie beim Googlebot/2.1 nur den namen geändert haben.
das spiderverhalten vom Mozilla/5.0 (compatible; Googlebot/2.1 ist bei mir wie beim alten

grüsse

[tingeltangeltill]

mein frage ist scheinbar falsch angekommen:

ich habe gefragt nach was ich suche muss, da unter dem suchbegriff "googlebot" nichts gefunden wird (er war mit sicherheit da).

[twiggie]

Versuchs mal mit Wildcard:
googlebot*
Twigg

[tingeltangeltill]

auch nichts, dann muss ich mal nach einem anderen analyzer schauen

[bugscout]

moin moin,

wenn du die logfiles mit einem editor öffnest und beim suchen den begriff googlebot nicht findest, gibt es drei möglichkeiten:

1) er war nicht da
2) es sind nicht die logfiles
3) der googlebot wird rausgefiltert

muss ich mal nach einem anderen analyzer schauen

was sollte ein analyzer finden, was ein editor nicht findet.

grüsse

[tingeltangeltill]

einen analyzer nehmen, der mir einfach anzeigt, welcher robot da war.

neue seiten wurden indexiert --> googlebot war da
bei älteren logfiles wird googlebot gefunden --> wird nicht gefiltert
es sind die logfiles, das kann mein iq von <100 noch erkennen

ich kann dir die dinger ja mal zuschicken und du kannst dich selber versuchen


/till

[bugscout]

moin moin,

wenn es die logfiles sind und die suchmaschinen nicht gefiltert werden und der editor nichts findet, war der bot in dem zeitraum auch nicht da.

der analyzer macht es einfacher, er findet aber nicht mehr.

emailadresse für die files kommt per pn.

grüsse

[tingeltangeltill]

also, die robotbesuche werden gefilter, manchmal schaffen sie es doch geloggt zu werden...

[ts77]

hat hier schon mal jemand ein Muster nachvollziehen können warum nicht mehr so intensiv gespidert wird?
Ich hatte vorher am Tag so um die 20-30K Googlebot-Besuche und jetzt sinds auf einmal nur noch 100-200.

[oldInternetUser]

warum nicht mehr so intensiv gespidert wird?

Schön wäre es. Der alte war bei mir an demselben Tag zum letzten Mal, wie es @bugscout ganz am Anfang schreibt, seither fehlt der alte komplett. Dieser hatte sich jedoch - abgesehen von DeepCrawl-Tagen - jede Seite höchstens einmal pro Tag geholt, was auch völlig ok war (statisches Html, meist 304).

Der neue holt sich derzeit etwa ein Drittel der Seiten bis zu 6 mal, obwohl ich eigentlich nicht glaube, daß ich plötzlich einen PR8 oder 9 habe.

Allerdings habe ich einen Link von einer PR-starken Domain, die dortige Linkseite war immer merkwürdig verdoppelt, also Duplicated Content. Google hat diese zwei Seiten bis jetzt getrennt ausgegeben (und vielleicht abgewertet), nun wird die zweite Seite selbst bei der direkten Suche per Url auf die erste Seite normalisiert. Das könnte natürlich den Link verstärkt haben - die Dateien vom Ziel-Unterverzeichnis werden im Augenblick so etwa zwei bis sechs Mal pro Tag geholt.