excite spider ausschliessen

Beitrag von **koni** » 20.11.2004, 10:55

da meine komplette seite von der merkwürdigen excite übersetzungsmaschine indexiert wurde ( siehe HIER ) würde ich gerne den exite robot ausschliessen. ich weiss zwar nicht ob das überhaupt was bringt!? ist dieser auf der untenstehenden liste vorhanden? oder ist da eine andere technik im spiel?

SpiderMan
LinkChecker
InternetSeer
larbin
Alexa (IA Archiver)
psBot
GigaBot
EIT Link Verifier Robot
Unknown robot (identified by 'crawl')
Jeeves 2
BaiDuSpider

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 20.11.2004, 11:08

Der Excite-Robot identifizierte sich als "ArchitextSpider", ich weiß nicht, ob es ihn noch gibt.
Dein Problem hat etwas mit dem Gelistet-Sein im japanischen Verzeichnis (!) von excite zu tun, das URL à la https://www.excite.co.jp/world/english/ ... xcitejapan
enthält und m.E. nichts mit der Suchmaschine von Excite.

Beitrag von **koni** » 20.11.2004, 11:28

ok, danke für die schnelle antwort! dann schreib ich diese seite nun endgültig ab...

da gibts wohl keine hoffnung mehr.

Beitrag von **bull** » 20.11.2004, 11:41

Irgendwann wird Google das Problem beheben, denke ich. Die Domain würde ich auf jeden Fall behalten.

Beitrag von **koni** » 20.11.2004, 13:22

ja, ich hoffe der PageRank verschwindet nicht auch noch. besonders übel ist, dass jede neue unterseite die ich erstelle und rauflade sofort resp nach 1-2 tagen von diesem excite verzeichnis übernommen wird.