Spider kommt auf "geheime" Seiten in Echtzeit

[bahnbilder]

Hallo liebes Team,

ich beobachte hier gerade ein Phänomen, das mir völlig schleierhaft vorkommt. Ich habe die PageRank-Anzeige im Firefox als Extension installiert.

Bei der Pflege einer meiner Seiten fand ich zufällig heraus, dass diese wegen einer Sicherheitslücke (Anfängerfehler) gehackt worden ist. Als ich ein wenig mit der URL der Seite herumspielte - also sinnlose Parameter hinzufügte, gab es nun das Phänomen, dass in meinen Logfiles wenige Sekunden, nachdem ich diese sinnlosen URLs eingab, ein Aufruf vom Googlebot auf diese Seite stattfand.

Ich:
i577b07cb.versanet.de - - [10/Sep/2005:20:14:03 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 404 116 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; de-DE; rv:1.7.10) Gecko/20050717 Firefox/1.0.6"

Crawler:
crawl-66-249-65-202.googlebot.com - - [10/Sep/2005:20:14:36 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 200 9265 "-" "Mediapartners-Google/2.1"

Kann denn das möglich sein, dass Google in Echtzeit (!) Seiten aufnimmt, die in der Pagerank-Anzeige erschienen sind? Die IP scheint zumindest mit GETENV("REMOTE_ADDR") zu stimmen.

Ich bin verwundert. Freue mich über Erklärungsansätze.

[Nikochan]

Das ist der "Mediapartners-Bot" und für AdSense zuständig. Entweder hast Du AdSense auf deinen Seiten oder surfst mit einem Browser mit Werbe-Einblendungen (Opera?).

Dieser Bot ist nicht für die Indexierung zuständig.

Gruss,
Nikochan

[matin]

blöde frage von einem unwissenden: wo finde ich diese logfiles, an denen ich ersehen kann, wann der crawler da war?

[bahnbilder]

@Nikochan: Danke für die Antwort. Dachte gestern schon sonstwas.

@matin: Das sind die Webserver-Logfiles. Ob und wo sie geschrieben werden, hängt von der Konfiguration des Servers ab. Bei gemietetem Webspace kann man sie manchmal im Administrationsbereich downloaden.