Wie robtex aussperren?

[Agent Orange]

Hallo,

robtex erstellt nette Listen, auf denen ein großer Teil meiner Domains zu sehen ist. (xx hosts sharing ip, mailserver for xx domains) Wie kann man dem robtex-Crawler das Lesen der eigenen Seiten mittels htaccess oder robots.txt verbieten?

[WilliWusel]

Steht doch auf der Seite:

robot-info:
this utility crawls sites using the useragent "robtexbot", mainly to get title and meta info. the referer-tag is set to the url of the page displaying the information. it currently only fetches the index-page from every domain, so it does not support the robots.txt - standard

Demnach per robots.txt, falls sich der Spider zumindest rudimentär an Standards hält:

User-agent: robtexbot
Disallow: /

[Agent Orange]

it currently only fetches the index-page from every domain, so it does not support the robots.txt - standard

Das klang für mich so, als ob der Crawler sich überhaupt nicht an die robots.txt hält.

[WilliWusel]

Das klang für mich so, als ob der Crawler sich überhaupt nicht an die robots.txt hält.

Bin auch nicht sicher, das kannst Du nur durch Ausprobieren herausfinden. Wenn diese Methode versagt, musst Du die IP des Bots ermitteln und per .htaccess sperren.

[melittaman]

it currently only fetches the index-page from every domain, so it does not support the robots.txt - standard

Das klang für mich so, als ob der Crawler sich überhaupt nicht an die robots.txt hält.

Es handelt sich in dem Sinne nicht um einen herkömmlichen Webcrawler/Bot.
Unter anderem werden Daten der Domain Nameserver ausgewertet. Dadurch dass man die DNS und Routinginformationen nun einmal braucht, kann man seine Seiten auch schlecht verbergen, sofern Sie alle auf einem Server mit einer IP liegen.

[Agent Orange]

Also nichts zu machen?

[melittaman]

Also nichts zu machen?

Mussu Fragen die Cheffe von dem robtex Vereine!

[Agent Orange]

Mussu Fragen die Cheffe von dem robtex Vereine!

Der sitzt in Schweden und hat keine E-Mail-Adresse zur Kontaktaufnahme angegeben. Ich habe zwar eine Mail an die üblichen Verdächtigen (webmaster@robtex.com, info@robtex.com, robert@robtex.com, olsson@robtex.com, mail@robtex.com, contact@robtex.com... ect.) gesendet, aber immer eine Fehlermeldung zurückbekommen.

Hat noch jemand eine Idee?

[Manny]

versuch mal:

robban (at) robtex

[Agent Orange]

Danke, das war die richtige Kontaktadresse. Derzeit ist der Webspider laut Domain-Inhaber nicht aktiv. Möglicherweise wird die robots.txt unterstützt, sobald der Webspider wieder aktiviert wird.