Useragent 'Twiceler'

Beitrag von **codemonk** » 14.05.2007, 12:41

Seit ein paar Tagen werden zwei meiner Sites von hier

38.99.13.126 - Mozilla/5.0 (Twiceler-0.9 https://www.cuill.com/twiceler/robot.html)

massiv gespidert.

Forums- und Googlesuche bringen nix Informatives. Auf der Root wird man durch eine Passbox begrüsst.

Ist dieser UA jemanden bekannt? Schonmal negativ aufgefallen?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Alex1007** » 16.05.2007, 10:08

Hallo,

auch meine Seiten werden von dieser IP schon seit mehreren Tagen wie wild gespidert! Diese IP wird mir nur angezeigt: 38.99.13.126

hat jemand eine Ahnung, woher diese IP kommt??

Beitrag von **torro** » 16.05.2007, 11:14

Kuck mal hier:
https://www.cuill.com/twiceler/robot.html

Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'.

Registriert ist die Domain auf Tom Costello mit einer Email Adresse @cs.stanford.edu.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **michaa** » 16.05.2007, 15:42

Ist möglicherweise dieser hier:

https://www-formal.stanford.edu/tjc/

Beitrag von **av3nger** » 21.05.2007, 14:03

torro hat geschrieben:Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'

Dann müsste ich die doch theoretisch per

User-agent: Twiceler
Disallow: /

aussperren können, oder etwa nicht?

Beitrag von **Anonymous** » 21.05.2007, 14:05

av3nger hat geschrieben:
torro hat geschrieben:Auf die Startseite kommt man nicht rauf, aber man sagt 'Twiceler should obey robots.txt.'
Dann müsste ich die doch theoretisch per

User-agent: Twiceler
Disallow: /

aussperren können, oder etwa nicht?

ne.. so sperrst du ihn nicht wirklich aus, so bittest du ihn fernzubleiben... ob er es dann macht ist was anderes...

Beitrag von **SloMo** » 21.05.2007, 14:21

Da hat net(t)worker Recht. Um Ihn auszusperren, bräuchte man schon eine passende .htaccess oder ein paar Zeilen PHP-Code. Wie das im Einzelfall geht, wird ja an diversen Stellen hier im Forum ausführlich beschrieben (Suchfunktion benutzen)

Beitrag von **av3nger** » 21.05.2007, 14:45

net(t)worker hat geschrieben:ne.. so sperrst du ihn nicht wirklich aus, so bittest du ihn fernzubleiben... ob er es dann macht ist was anderes...

Jo, deswegen sagte ich auch "theoretisch". Also wenn er die befolgen würde, was ja auf der Seite behauptet wird.

Also müsste ich es am Besten mit

RewriteCond %{HTTP_USER_AGENT} Twiceler
RewriteRule ^.* - [F]

lösen, oder?

Beitrag von **mgutt** » 01.11.2007, 16:13

Ich habe gerade mal meine 404 Ergebnisse analysiert. Der Twiceler produziert total falsche URLs. Er kombiniert scheinbar 2 verschiedene und macht daraus eine, die dann gar nicht gehen kann.

Dann steht da durchaus mal:

domain.com/index.htmldomain2.com/index.html

Total Banane. Wofür ist dieser Bot wichtig?

Gleiche Probleme habe ich mit Baiduspider.

Der macht gerne mal: ("hdsunds" sind immer zufällig und anders und existieren nicht)
domain.com/hdsunds/index.html

Oder hier der MSN Bot kann das auch: ("popular/development" gibts nicht)
domain.de/popular/index.html (Method: GET) (Agent: msnbot/1.0 (+https://search.msn.com/msnbot.htm)) (Ref: domain.de/popular/development)

Hat jemand ähnliche Erfahrungen? Ich frage mich wie die Bots auf solche URLs kommen.

Gruß
Marc

Beitrag von **Keyser Soze** » 28.07.2008, 09:22

https://www.techcrunch.com/2008/07/27/c ... ch-engine/

Beitrag von **Burns** » 28.07.2008, 11:04

per .htaccess gesperrt und Ruhe is.
Spider von Suchmaschinen die keine Besucher bringen oder sonst nichts nutzen werden von mir immer gleich gesperrt.

Der Spider gibt sich ja zumindes zu erkennen.

-

Beitrag von **pr_sniper** » 28.07.2008, 14:37

welcher Webmaster sperrt Suchmaschinenbots aus und verzichtet so auf Suchergebnisse, Besucher und Umsatz? - Blödsinn.

Ansonsten wie bisher durch wenige erkannt: https://www.google.com/search?hl=de&q=Cuil

Beitrag von **Keyser Soze** » 28.07.2008, 16:45

Das sind die gleichen Leute, die sich im nächsten Thread wieder über die Dominanz von Google beschweren...

Beitrag von **hypnos** » 28.07.2008, 18:15

Bin gespannt was das sein soll. Hätte beinahe die grösste Suchmaschine ausgesperrt

Beitrag von **robel** » 28.07.2008, 19:10

Um Ihn auszusperren, bräuchte man schon eine passende .htaccess oder ein paar Zeilen PHP-Code. Wie das im Einzelfall geht, wird ja an diversen Stellen hier im Forum ausführlich beschrieben