ABAKUS

Warum willst du den Bot aussperren ?

Würde mich auch mal interessieren ob eine Ausperrung dieses Bots, das Crawlverhalten des normalen Bots geändert hat

Ich würde es nicht riskieren.

Naja der Mozilla Bot macht ja scheinbar nix sinnvolles, kommt er oft und crawlt er tief gehts der Seite bald nicht mehr gut, zumindest ist das oft so.

Na dann werd ich das doch gleich mal testen

Hallo
Ich habe es anders erlebt.
Er kam frass und ging, ich dachte schon es sei für die Katz, aber eine Woche später war alles was er gefressen hatte im Index.
Wer den sperrt kann IMHO auch auch gleich eine ganz einfache und kurze robots.txt nehmen. (oder ein Seil)
Gruss Kristian

Mario670 hat geschrieben:Naja der Mozilla Bot macht ja scheinbar nix sinnvolles, kommt er oft und crawlt er tief gehts der Seite bald nicht mehr gut, zumindest ist das oft so.

So ganz bin ich da nicht von überzeugt.
Auf einer Seite, die einen Relaunch mit neuen Dateinamen hat, kam zuerst
der 2.1 ... es waren nur die Seiten erster Eben mit Cache und allem
im Index ... bis der MozillaBot kam. Dann waren immer mehr Seiten mit
Cache und allem was dazu gehört.
Im Moment glaub ich, das der 21 die Seiten findet und der Mozilla den
Rank und die Umgebung checkt, Cache updated ...

Any thoughts?

Naja hab da so'n halbtotes Projekt, da kommt der Kollege täglich und ist recht fleißig, mal sehen was passiert wenn der nicht mehr darf ... we will see

Hallo
Naja zur Not gibt's ja noch Ebay
Das Seil
SCNR Kristian