Seite 1 von 1
G*Bot mit eigenartigen crawler-zugriffen
Verfasst: 01.02.2007, 23:35
von muc1
habe in meinen logs festgestellt dass der g*bot ganz komische dateien versucht zu crawlen.
z.b.
GET /afdhsyhdlc.html - 80 - 66.249.66.212 Mozilla/5.0+(compatible;+Googlebot/2.1;++
https://www.google.com/bot.html) - 404 0 0
/ubcropztsmxeddgw.html - 80 - 66.249.66.212
usw.
wisst ihr was das soll?
das macht doch gar keinen sinn.
lg
herbert
Verfasst: 02.02.2007, 00:44
von web_worker
vielleicht ist er scharf auf Deine 404er-Seite ...
nein, spass ohne - ich weiß auch nicht, was das soll. läuft da vielleicht eine instanz amok? in meinen logs habe ich das - trotz 10.000en von aufrufen heute - nicht gefunden...
gruß,
w_w
Verfasst: 02.02.2007, 01:07
von net(t)worker
nutzt du evtl. Google Sitemaps?
dort wird hin und wieder geprüft, ob die site auch einen 404 zurückgibt, wenn ein Dokument angefragt wird, dass nicht da ist. Hat mit der vierifizierung zu tun, dort wird ja auch nur überprüft ob das bestimmte File vorhanden ist...
wenn jetzt anstatt dem 404 ein 200 zurückgegeben wird und die startseite ausgegeben wird, könnte ja ansonsten jeder die site bei sitemaps aufnehmen und verifizieren lassen, um so die statistischen Auswertungen zu sehen.
Verfasst: 02.02.2007, 22:17
von muc1
ja ich habe nutze eine seitemap.
vielen dank für die info!
herbert
Verfasst: 02.02.2007, 22:21
von ole1210
Oder du hast irgend nen Internen oder externen Link der auf deise merkwürdige datei verlinkt!
Verfasst: 02.02.2007, 22:24
von muc1
hab da noch eine frage zur googel "sitemap".
meine sitemap ist wie folgt aufgebaut.
1.
alle relevanten statischen seiten
2.
sitemap aller einträge nach bundesland
2.
sitemap aller einträge nach "neuzugängen"
3.
sitemap ALLER einträge, ca 6.000, täglich kommen 100 dazu.
die internen links kommen dadurch natürlich mehrfach vor.
ist das so ok oder soll es nur jeweils einen möglichen link zu den ziel-seite geben?
Verfasst: 03.02.2007, 00:23
von HBurk
in der Sitemap bitte nur jeweils einen Link zur Ziel Seite
< 100K Pages empfehle ich [url]http:www.enarion.net[/url]
Verfasst: 03.02.2007, 00:41
von muc1
hi Hburk,
danke dir.
so lieb ich das! kurze klare tipps.
gruss
herbert
Verfasst: 03.02.2007, 01:06
von HBurk
Kein Problem Herbert, immer gerne zu diensten
