G*Bot mit eigenartigen crawler-zugriffen

Beitrag von **muc1** » 01.02.2007, 23:35

habe in meinen logs festgestellt dass der g*bot ganz komische dateien versucht zu crawlen.

z.b.
GET /afdhsyhdlc.html - 80 - 66.249.66.212 Mozilla/5.0+(compatible;+Googlebot/2.1;++https://www.google.com/bot.html) - 404 0 0

/ubcropztsmxeddgw.html - 80 - 66.249.66.212

usw.

wisst ihr was das soll?
das macht doch gar keinen sinn.

lg
herbert

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **web_worker** » 02.02.2007, 00:44

vielleicht ist er scharf auf Deine 404er-Seite ...

nein, spass ohne - ich weiß auch nicht, was das soll. läuft da vielleicht eine instanz amok? in meinen logs habe ich das - trotz 10.000en von aufrufen heute - nicht gefunden...

gruß,
w_w

Beitrag von **Anonymous** » 02.02.2007, 01:07

nutzt du evtl. Google Sitemaps?

dort wird hin und wieder geprüft, ob die site auch einen 404 zurückgibt, wenn ein Dokument angefragt wird, dass nicht da ist. Hat mit der vierifizierung zu tun, dort wird ja auch nur überprüft ob das bestimmte File vorhanden ist...

wenn jetzt anstatt dem 404 ein 200 zurückgegeben wird und die startseite ausgegeben wird, könnte ja ansonsten jeder die site bei sitemaps aufnehmen und verifizieren lassen, um so die statistischen Auswertungen zu sehen.

von **Anzeige von ABAKUS** »

Beitrag von **muc1** » 02.02.2007, 22:17

ja ich habe nutze eine seitemap.

vielen dank für die info!

herbert

Beitrag von **ole1210** » 02.02.2007, 22:21

Oder du hast irgend nen Internen oder externen Link der auf deise merkwürdige datei verlinkt!

Beitrag von **muc1** » 02.02.2007, 22:24

hab da noch eine frage zur googel "sitemap".

meine sitemap ist wie folgt aufgebaut.

1.
alle relevanten statischen seiten

2.
sitemap aller einträge nach bundesland

2.
sitemap aller einträge nach "neuzugängen"

3.
sitemap ALLER einträge, ca 6.000, täglich kommen 100 dazu.

die internen links kommen dadurch natürlich mehrfach vor.

ist das so ok oder soll es nur jeweils einen möglichen link zu den ziel-seite geben?

Beitrag von **HBurk** » 03.02.2007, 00:23

in der Sitemap bitte nur jeweils einen Link zur Ziel Seite

< 100K Pages empfehle ich [url]http:www.enarion.net[/url]

Beitrag von **muc1** » 03.02.2007, 00:41

hi Hburk,

danke dir.
so lieb ich das! kurze klare tipps.

gruss
herbert

Beitrag von **HBurk** » 03.02.2007, 01:06

Kein Problem Herbert, immer gerne zu diensten