Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Mozilla/3.0 (compatible; Indy Library)

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
bugscout
PostRank 9
PostRank 9
Beiträge: 2602
Registriert: 23.06.2003, 12:24

Beitrag von bugscout » 05.09.2003, 22:26

moin moin,

Mozilla/3.0 (compatible; Indy Library)

noch einer, der keine robots.txt lesen mag.

grüsse

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


regeurk78
PostRank 5
PostRank 5
Beiträge: 271
Registriert: 15.05.2003, 13:22

Beitrag von regeurk78 » 06.09.2003, 09:38

Jepp, auch so ein "Sammler". Hat meine ganze Seite gespidert und ist den Redirects gefolgt. Leider hab ich keine sichtbaren Email-Adressen für ihn gehabt :wink:

Das müsste helfen (habs net getestet):

RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*Indy [OR]
Bild

bugscout
PostRank 9
PostRank 9
Beiträge: 2602
Registriert: 23.06.2003, 12:24

Beitrag von bugscout » 06.09.2003, 09:45

moin regeurk78,

ich habe disallow /email/

und da gibts bei jedem mal 200 wunderschöne adressen
z.b. vom institut für abgewandte thermodynamik.

grüsse

regeurk78
PostRank 5
PostRank 5
Beiträge: 271
Registriert: 15.05.2003, 13:22

Beitrag von regeurk78 » 06.09.2003, 12:26

Abgewandte? :lol: Naja, extra falsche Mail-Adressen ausstreuen, das mach ich dann doch nicht :-?
Bild

bugscout
PostRank 9
PostRank 9
Beiträge: 2602
Registriert: 23.06.2003, 12:24

Beitrag von bugscout » 06.09.2003, 13:57

moin moin,

abgewandte thermodynamik genau, 8)

dürfte nur wenige treffer im netz geben.
mach ich um zu schauen, obs auch suchmaschinen
gibt, die sich nicht dran halten.

grüsse

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag