da meine komplette seite von der merkwürdigen excite übersetzungsmaschine indexiert wurde ( siehe HIER ) würde ich gerne den exite robot ausschliessen. ich weiss zwar nicht ob das überhaupt was bringt!? ist dieser auf der untenstehenden liste vorhanden? oder ist da eine andere technik im spiel?
SpiderMan
LinkChecker
InternetSeer
larbin
Alexa (IA Archiver)
psBot
GigaBot
EIT Link Verifier Robot
Unknown robot (identified by 'crawl')
Jeeves 2
BaiDuSpider
Der Excite-Robot identifizierte sich als "ArchitextSpider", ich weiß nicht, ob es ihn noch gibt.
Dein Problem hat etwas mit dem Gelistet-Sein im japanischen Verzeichnis (!) von excite zu tun, das URL à la https://www.excite.co.jp/world/english/ ... xcitejapan
enthält und m.E. nichts mit der Suchmaschine von Excite.
ja, ich hoffe der PageRank verschwindet nicht auch noch. besonders übel ist, dass jede neue unterseite die ich erstelle und rauflade sofort resp nach 1-2 tagen von diesem excite verzeichnis übernommen wird.