SmartyBot 1.03 in die Spider-Trap getappt

Beitrag von **Hobby-SEO** » 26.11.2006, 09:11

Nur ganz kurz:

Neuer Spambot: /falle/index.php 2006-11-26 (Sun) 07:28:22
IP: 38.113.65.231
User-Agent: SmartyBot 1.03 https://smartybee.com/smartybot.html

Auf der Website steht

To exclude SmartyBot simply add:

User-agent: SmartyBot
Disallow: /*

Zumindest von User-agent: * fühlt sich der Smartybot nicht angesprochen...

Schönen Sonntag!
Hobby-SEO

von **Anzeige von ABAKUS** »

Beitrag von **n3m0** » 07.12.2006, 11:44

Natürlich nicht:

"Actually, for the moment, if the robots.txt file just has the word "smartybot" in it, we will ignore the site."

Gaaaaaanz grosser Sport.

Beitrag von **Alpinist** » 07.12.2006, 13:12

Oder dieses hier:

"So don't set directories for inclusion or exclusion, we are just not that advanced yet."

Einen Textparser zu schreiben schaffen sie nicht - stellt sich nur eine Frage, was macht der Bot? Code parsen ist ja wohl etwas aufwendiger...

Grüße

Beitrag von **JR-EWING** » 07.12.2006, 16:15

brauchen das wahrscheinlich nur für
https://smartybee.com/viewsource.cgi