Useragent 'Twiceler'

[codemonk]

Seit ein paar Tagen werden zwei meiner Sites von hier

38.99.13.126 - Mozilla/5.0 (Twiceler-0.9 https://www.cuill.com/twiceler/robot.html)

massiv gespidert.

Forums- und Googlesuche bringen nix Informatives. Auf der Root wird man durch eine Passbox begrüsst.

Ist dieser UA jemanden bekannt? Schonmal negativ aufgefallen?

[Alex1007]

Hallo,

auch meine Seiten werden von dieser IP schon seit mehreren Tagen wie wild gespidert! Diese IP wird mir nur angezeigt: 38.99.13.126

hat jemand eine Ahnung, woher diese IP kommt??

[torro]

Kuck mal hier:
https://www.cuill.com/twiceler/robot.html

Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'.

Registriert ist die Domain auf Tom Costello mit einer Email Adresse @cs.stanford.edu.

[michaa]

Ist möglicherweise dieser hier:

https://www-formal.stanford.edu/tjc/

[av3nger]

Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'

Dann müsste ich die doch theoretisch per

User-agent: Twiceler
Disallow: /

aussperren können, oder etwa nicht?

[Anonymous]

Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'

Dann müsste ich die doch theoretisch per

User-agent: Twiceler
Disallow: /

aussperren können, oder etwa nicht?

ne.. so sperrst du ihn nicht wirklich aus, so bittest du ihn fernzubleiben... ob er es dann macht ist was anderes...

[SloMo]

Da hat net(t)worker Recht. Um Ihn auszusperren, bräuchte man schon eine passende .htaccess oder ein paar Zeilen PHP-Code. Wie das im Einzelfall geht, wird ja an diversen Stellen hier im Forum ausführlich beschrieben (Suchfunktion benutzen)

[av3nger]

ne.. so sperrst du ihn nicht wirklich aus, so bittest du ihn fernzubleiben... ob er es dann macht ist was anderes...

Jo, deswegen sagte ich auch "theoretisch". Also wenn er die befolgen würde, was ja auf der Seite behauptet wird.

Also müsste ich es am Besten mit

RewriteCond %{HTTP_USER_AGENT} Twiceler
RewriteRule ^.* - [F]

lösen, oder?

[mgutt]

Ich habe gerade mal meine 404 Ergebnisse analysiert. Der Twiceler produziert total falsche URLs. Er kombiniert scheinbar 2 verschiedene und macht daraus eine, die dann gar nicht gehen kann.

Dann steht da durchaus mal:

domain.com/index.htmldomain2.com/index.html

Total Banane. Wofür ist dieser Bot wichtig?

Gleiche Probleme habe ich mit Baiduspider.

Der macht gerne mal: ("hdsunds" sind immer zufällig und anders und existieren nicht)
domain.com/hdsunds/index.html

Oder hier der MSN Bot kann das auch: ("popular/development" gibts nicht)
domain.de/popular/index.html (Method: GET) (Agent: msnbot/1.0 (+https://search.msn.com/msnbot.htm)) (Ref: domain.de/popular/development)

Hat jemand ähnliche Erfahrungen? Ich frage mich wie die Bots auf solche URLs kommen.

Gruß
Marc

[Keyser Soze]

https://www.techcrunch.com/2008/07/27/c ... ch-engine/

[Burns]

per .htaccess gesperrt und Ruhe is.
Spider von Suchmaschinen die keine Besucher bringen oder sonst nichts nutzen werden von mir immer gleich gesperrt.

Der Spider gibt sich ja zumindes zu erkennen.

-

[pr_sniper]

welcher Webmaster sperrt Suchmaschinenbots aus und verzichtet so auf Suchergebnisse, Besucher und Umsatz? - Blödsinn.

Ansonsten wie bisher durch wenige erkannt: https://www.google.com/search?hl=de&q=Cuil

[Keyser Soze]

Das sind die gleichen Leute, die sich im nächsten Thread wieder über die Dominanz von Google beschweren...

[hypnos]

Bin gespannt was das sein soll. Hätte beinahe die grösste Suchmaschine ausgesperrt

[robel]

Um Ihn auszusperren, bräuchte man schon eine passende .htaccess oder ein paar Zeilen PHP-Code. Wie das im Einzelfall geht, wird ja an diversen Stellen hier im Forum ausführlich beschrieben