Yahoo + MSN ausperren: robots.txt überprüfen

Beitrag von **websolutions** » 22.10.2007, 11:13

Hallo,
ich habe ein deutsches Forum, das seit neustem unheimlich viel von Yahoo und MSN indexiert wird. Da über Yahoo und MSN kaum Besucher kommen, die aber einen nicht zu vernachlässigen Traffic verursachen, möchte ich nun Yahoo & MSN aussperren.

Code: Alles auswählen

User-agent&#58; Inktomi Slurp
User-agent&#58; MSNBot
Disallow&#58; /
Allow&#58; /index.html

User-agent&#58; *
Disallow&#58;

Wird das Allow-Element von Yahoo & MSN beachtet?
Ich möchte die index.html indexieren lassen, damit die Seite bei Yahoo & MSN wenigstens im Index bleibt. Google soll uneingeschränkten Zugriff behalten, ist dann so alles korrekt formuliert? Werden die bereits indexxierten Unterseiten dann von MSN & Yahoo aus dem Index gekickt bzw. wie lange dauert das?

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 22.10.2007, 12:25

mmh meist liegt das an der internen verlinkung, warum die jungs da so durch drehen.
vielleicht dort erstmal aufräumen? bevor man die lieben krabbler verkrault, weil wenn die erstmal sauer sind...

ist jetzt nur eine vermutung! kann auch einfach nur sein, das diese bleede sind.

Beitrag von **websolutions** » 22.10.2007, 15:29

klar, mich interessiert jetzt aber erstranging ob der syntax so stimmt. ist der user-agent für yahoo richtig oder muss ich nur slurp nehmen?

Beitrag von **eisblock** » 24.10.2007, 11:24

hi, so wär es richtig:

Code: Alles auswählen

User-agent&#58; Slurp
Disallow&#58; /

User-agent&#58; msnbot
Disallow&#58; /

besser wär statt "Disallow" einfach ein "Crawl-delay: xx" zu benutzen
"Allow" gibts eigl. nicht
Disallow: / und Allow: /index.html wiederspechen sich

Beitrag von **seo-theo** » 24.10.2007, 12:18

Klar, wozu braucht man andere Suchmaschinen?

Beitrag von **luzie** » 24.10.2007, 13:35

Tip: am besten noch ein Bild von Larry und Sergey an die Wand hängen und jeden Morgen mit nach vorn ausgestrecktem, rechten Arm davor salutieren ...

hmm ... ich ziehe die stündliche opferung von 2 kilo räucherstäbchen vor, erfahrungsgemäss steigt der pr dann um einen halben punkt pro jahr

Beitrag von **websolutions** » 25.10.2007, 12:04

seo-theo hat geschrieben:Klar, wozu braucht man andere Suchmaschinen? Google reicht doch vollkommen....
Tip: am besten noch ein Bild von Larry und Sergey an die Wand hängen und jeden Morgen
mit nach vorn ausgestrecktem, rechten Arm davor salutieren......
Die Fragen hier auf dem Board werden immer dämlicher - und die Antworten auch.

klar, und die langeweile der flamer auch. wenn man nichts zu melden hat, einfach mal nichts posten. das schadet auch deinem postrank nicht

@
Disallow: /
Allow: /index.html

Google akzeptiert ja Allow, ich teste jetzt mal wie Yahoo und MSN darauf reagieren. Im Endeffekt heißt es dann verbiete alles außer: "...."

Ich überlege auch, da mich der Mirago-Bot jetzt auch anfängt zu nerven:

Code: Alles auswählen

User-Agent&#58; msnbot
User-Agent&#58; slurp
User-Agent&#58; googlebot
Disallow&#58;

User-Agent&#58; *
Disallow&#58; /

zu machen und eventuell noch ask zu erlauben.
werde es jetzt einfach mal testen.

Beitrag von **seo-theo** » 25.10.2007, 13:15

User-agent:
Disallow: /

Beitrag von **websolutions** » 25.10.2007, 14:16

@seo-theo: ne, der user-agent hirn wird ja durch user-agent: * abgedeckt. trotzdem danke für deine hilfe