Spider kommt auf "geheime" Seiten in Echtzeit
Verfasst: 10.09.2005, 19:45
Hallo liebes Team,
ich beobachte hier gerade ein Phänomen, das mir völlig schleierhaft vorkommt. Ich habe die PageRank-Anzeige im Firefox als Extension installiert.
Bei der Pflege einer meiner Seiten fand ich zufällig heraus, dass diese wegen einer Sicherheitslücke (Anfängerfehler) gehackt worden ist. Als ich ein wenig mit der URL der Seite herumspielte - also sinnlose Parameter hinzufügte, gab es nun das Phänomen, dass in meinen Logfiles wenige Sekunden, nachdem ich diese sinnlosen URLs eingab, ein Aufruf vom Googlebot auf diese Seite stattfand.
Ich:
i577b07cb.versanet.de - - [10/Sep/2005:20:14:03 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 404 116 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; de-DE; rv:1.7.10) Gecko/20050717 Firefox/1.0.6"
Crawler:
crawl-66-249-65-202.googlebot.com - - [10/Sep/2005:20:14:36 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 200 9265 "-" "Mediapartners-Google/2.1"
Kann denn das möglich sein, dass Google in Echtzeit (!) Seiten aufnimmt, die in der Pagerank-Anzeige erschienen sind? Die IP scheint zumindest mit GETENV("REMOTE_ADDR") zu stimmen.
Ich bin verwundert. Freue mich über Erklärungsansätze.
ich beobachte hier gerade ein Phänomen, das mir völlig schleierhaft vorkommt. Ich habe die PageRank-Anzeige im Firefox als Extension installiert.
Bei der Pflege einer meiner Seiten fand ich zufällig heraus, dass diese wegen einer Sicherheitslücke (Anfängerfehler) gehackt worden ist. Als ich ein wenig mit der URL der Seite herumspielte - also sinnlose Parameter hinzufügte, gab es nun das Phänomen, dass in meinen Logfiles wenige Sekunden, nachdem ich diese sinnlosen URLs eingab, ein Aufruf vom Googlebot auf diese Seite stattfand.
Ich:
i577b07cb.versanet.de - - [10/Sep/2005:20:14:03 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 404 116 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; de-DE; rv:1.7.10) Gecko/20050717 Firefox/1.0.6"
Crawler:
crawl-66-249-65-202.googlebot.com - - [10/Sep/2005:20:14:36 +0200] "GET /?site=https://www.---.de/?hallo=huhu HTTP/1.1" 200 9265 "-" "Mediapartners-Google/2.1"
Kann denn das möglich sein, dass Google in Echtzeit (!) Seiten aufnimmt, die in der Pagerank-Anzeige erschienen sind? Die IP scheint zumindest mit GETENV("REMOTE_ADDR") zu stimmen.
Ich bin verwundert. Freue mich über Erklärungsansätze.