Googlebot verhält sich seltsam

Beitrag von **Acros** » 08.07.2005, 23:58

Hallo Forum!

Ich hab vor nen paar Wochen mal ne Google-Sitemap für die Page www.khaima.de erstellt unter www.khaima.de/sitemap.xml , und nü hat sich der Bot endlich mal zu mir verirrt, verhält sich aber sehr wunderlich.
Zuerst hat er versucht nen paar Seiten zu crawlen die schon lange nicht mehr existieren, bzw. anders heißen, naja das mag ja noch angehen dass er da was altes im Cache hat.
Aber jetzt hab ich folgendes im log entdeckt:

Code: Alles auswählen

66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;08&#58;33 +0200&#93; "GET /anhywiurfldloj.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"
66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;10&#58;24 +0200&#93; "GET /tpriijgjifnw.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"
66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;10&#58;28 +0200&#93; "GET /exchirlppmtzyhrb.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"
66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;10&#58;33 +0200&#93; "GET /lwtahwgchecpr.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"
66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;10&#58;38 +0200&#93; "GET /mbiomifiulkv.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"

Was soll denn das? Solche Seiten hatte ich garantiert niemals auf dem Server, verlinkt oder was auch immer... Wirkt irgendwie als wenn jemand auf der Tastatur sinnlos rumgehämmert hätte, aber immerhin is nen .html dahinter.
Naja, der Bot hat jetzt inzwischen auch zwei existente Seiten gecrawlt, scheint sich also wieder eingekriegt zu haben. Find ich trotzdem seltsam, ist sowas noch jemandem passiert?
Ist meine sitemap irgendwie kaputt? Google sagt zumindes OK dazu...

Viele Grüße
Moritz

von **Anzeige von ABAKUS** »

Beitrag von **SexVerzeichnis** » 09.07.2005, 02:44

Das kann eigentlich nur 2 Gründe haben:

1. Irgendwer hat irgendwo einen link mit dieser URL auf deine Seite gesetzt, warum auch immer

2. Google sucht Doorways - Ist eigentlich eine gängige, weil einfache Methode, einfach das Keyword aus der URL zu extrahieren und ne doorway dafür zu generieren...

Schätze ich werde gleich mal ein paar scripts umschreiben

Denn das wäre nun wirklich nicht dumm von google ... andererseits würden da auch alle Dynamisch mit Keyword generierten Seiten drunter fallen, also alle arten von suchmaschinen, scherzseiten etc ...

evt gewollt?!

Beitrag von **SexVerzeichnis** » 09.07.2005, 02:49

ui, garnicht richtig gelesen daß du auch ne sitemap hast

also, da das auch der mozilla bot war schätze ich mal ist die sache klar:

if (has_sitemap($site) AND has_dynamic_content($site))
{
$site = "SPAM";
kick_ban($site);
}

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Gurgelboot** » 09.07.2005, 08:28

Code: Alles auswählen

66.249.66.193 - - &#91;08/Jul/2005&#58;18&#58;10&#58;38 +0200&#93; "GET /mbiomifiulkv.html HTTP/1.1" 404 3168 "-" "Mozilla/5.0 &#40;compatible; Googlebot/2.1;

Also mit GET /mbiomifiulkv.html HTTP/1.1 sucht G** Doorways / Dyn. Content?
Warum nicht mit iasulfglsiuz.html?

Tut mir leid, die Logik erschließt sich mir nicht wirklich, kann mich jemand aufklären?

Grüsse

Beitrag von **depp ich** » 09.07.2005, 08:41

Hallo!
@Sexvrzeichnis: Ich bezweifle, dass dein Footer den Rorenregeln entspricht..
Und diese Brachial-Aussage halte ich auch für abwegig.

Zum Thema:
Mein Tool (webeye) provoziert auch 404er, indem es eine "unmögliche" Seite abfragt. Das tut es, um festzustellen, wie der Server reagiert und was da daherkommt. Alles was so ähnlich aussieht wie das, wird dann ignoriert.

Kann mir schon vorstellen, dass auch der Googlebot das so ähnlich macht.
lg
chio