ConveraCrawler - authoritativeweb.com/crawl

[Billy04]

Hallo

Dieser Crawler ist nun schon seit fast einer halben Stunde dran.

Kennt den jemand?

ConveraCrawler/0.8 (+https://www.authoritativeweb.com/crawl)

[stalker]

steht doch alles auf der seite
an die robots.txt hält er sich ja nach aussage des betreibers auch
und somit ist doch alles in Ordnung

[Chris2005]

Der hat mich auch kürzlich "überfallen". Erstmal vor die Tür gesetzt... Wieder eine Suchmaschine, die niemand braucht... Oder glaubt jemand, dass da irgendwelcher Traffic kommen wird? Vor allem sind die Suchergebnisse noch gar nicht zugänglich

[fool]

Hallo zusammen,
hatte heute auch Besuch von dem ConveraCrawler und konnte feststellen,
dass er sich nicht wie auf der Homepage von dem Betreiber:
www.authoritativeweb.com/crawl
an robots.txt -Standard hält. Er ist klasse in die Bot-Trap gegangen.
Die müssen also wirklich noch ein bisschen ihren Bot optimieren.
Solange bleibt er bei mir gesperrt.
IP war 63.241.61.8
UA ConveraCrawler/0.9d

Gruß
fool

[bull]

@alle
Es gibt neuerdings auch ConveraMultiMediaCrawler/0.1 (+https://www.authoritativeweb.com/crawl) aus demselben Hause.
Wer noch mit

Code: Alles auswählen

^ConveraCrawler

in der RewriteCond blockt (und nicht schon den ganzen IP-Bereich abgeklemmt hat ), sollte also auf

Code: Alles auswählen

^Convera

umsteigen.