ABAKUS

Verfasst: **01.02.2007, 23:35**

habe in meinen logs festgestellt dass der g*bot ganz komische dateien versucht zu crawlen.

z.b.
GET /afdhsyhdlc.html - 80 - 66.249.66.212 Mozilla/5.0+(compatible;+Googlebot/2.1;++https://www.google.com/bot.html) - 404 0 0

/ubcropztsmxeddgw.html - 80 - 66.249.66.212

usw.

wisst ihr was das soll?
das macht doch gar keinen sinn.

lg
herbert

Verfasst: **02.02.2007, 00:44**

vielleicht ist er scharf auf Deine 404er-Seite ...

nein, spass ohne - ich weiß auch nicht, was das soll. läuft da vielleicht eine instanz amok? in meinen logs habe ich das - trotz 10.000en von aufrufen heute - nicht gefunden...

gruß,
w_w

Verfasst: **02.02.2007, 01:07**

nutzt du evtl. Google Sitemaps?

dort wird hin und wieder geprüft, ob die site auch einen 404 zurückgibt, wenn ein Dokument angefragt wird, dass nicht da ist. Hat mit der vierifizierung zu tun, dort wird ja auch nur überprüft ob das bestimmte File vorhanden ist...

wenn jetzt anstatt dem 404 ein 200 zurückgegeben wird und die startseite ausgegeben wird, könnte ja ansonsten jeder die site bei sitemaps aufnehmen und verifizieren lassen, um so die statistischen Auswertungen zu sehen.

Verfasst: **02.02.2007, 22:17**

ja ich habe nutze eine seitemap.

vielen dank für die info!

herbert

Verfasst: **02.02.2007, 22:21**

Oder du hast irgend nen Internen oder externen Link der auf deise merkwürdige datei verlinkt!

Verfasst: **02.02.2007, 22:24**

hab da noch eine frage zur googel "sitemap".

meine sitemap ist wie folgt aufgebaut.

1.
alle relevanten statischen seiten

2.
sitemap aller einträge nach bundesland

2.
sitemap aller einträge nach "neuzugängen"

3.
sitemap ALLER einträge, ca 6.000, täglich kommen 100 dazu.

die internen links kommen dadurch natürlich mehrfach vor.

ist das so ok oder soll es nur jeweils einen möglichen link zu den ziel-seite geben?

Verfasst: **03.02.2007, 00:23**

in der Sitemap bitte nur jeweils einen Link zur Ziel Seite

< 100K Pages empfehle ich [url]http:www.enarion.net[/url]

Verfasst: **03.02.2007, 00:41**

hi Hburk,

danke dir.
so lieb ich das! kurze klare tipps.

gruss
herbert

Verfasst: **03.02.2007, 01:06**

Kein Problem Herbert, immer gerne zu diensten

ABAKUS

G*Bot mit eigenartigen crawler-zugriffen

G*Bot mit eigenartigen crawler-zugriffen