Mozilla/3.0 (compatible; Indy Library)

Beitrag von **bugscout** » 05.09.2003, 22:26

moin moin,

Mozilla/3.0 (compatible; Indy Library)

noch einer, der keine robots.txt lesen mag.

grüsse

von **Anzeige von ABAKUS** »

Beitrag von **regeurk78** » 06.09.2003, 09:38

Jepp, auch so ein "Sammler". Hat meine ganze Seite gespidert und ist den Redirects gefolgt. Leider hab ich keine sichtbaren Email-Adressen für ihn gehabt

Das müsste helfen (habs net getestet):

RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*Indy [OR]

Beitrag von **bugscout** » 06.09.2003, 09:45

moin regeurk78,

ich habe disallow /email/

und da gibts bei jedem mal 200 wunderschöne adressen
z.b. vom institut für abgewandte thermodynamik.

grüsse

Beitrag von **regeurk78** » 06.09.2003, 12:26

Abgewandte?

Naja, extra falsche Mail-Adressen ausstreuen, das mach ich dann doch nicht

Beitrag von **bugscout** » 06.09.2003, 13:57

moin moin,

abgewandte thermodynamik genau,

dürfte nur wenige treffer im netz geben.
mach ich um zu schauen, obs auch suchmaschinen
gibt, die sich nicht dran halten.

grüsse