Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

TheSuBot/0.1 (www.thesubot.de) ?????

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Freeboarder
PostRank 2
PostRank 2
Beiträge: 48
Registriert: 08.04.2005, 10:21
Wohnort: Schweiz

Beitrag von Freeboarder » 09.08.2005, 19:54

Guten Abend,

ich glaube meine Seite wird langsam zu beliebt bei den bots :( fast jeden tag irgendwelche komische sachen kommen vorbei.

als letzter mir unbekannter crawler, dieser:

Code: Alles auswählen

Host: 212.19.35.2   /robots.txt  
  Http Code: 200  Date: Aug 09 11:18:07  Http Version: HTTP/1.0  Size in Bytes: 188  
  Referer: -  
  Agent: TheSuBot/0.1 (www.thesubot.de)  
Liest zwar offensichtlich als erstes die Robots txt, aber auf der Webseite konnte ich nicht wirklich rausfinden für welche
Themen Suchmaschinen

er Crawlt.

Irgendwie steht da noch was von Hyro Mediaservice.

Nun meine Frage, wer oder was ist das?

Um welchen Themensuchmaschinen geht es da?

Was meint Ihr sperren oder nicht sperren?

MfG

FB
Suche immer seriöse Linkpartner: Linkpartner Fellmann.biz