ABAKUS

Hi Seo's

ich musste eben feststellen, dass nun Seiten von meinem Blog im Index sind die garnicht im Index seien sollten...

Folgender Aufbau:

In Meiner robots steht folgendes...
User-agent: *
Disallow:
Disallow: /archiv/

Das Verzeichnis /archiv hab ich ausgesperrt...

Nun finde ich ich aber über Site:domain.tld Seiten im Index mit folgenden Angaben...

domain.tld/archiv/2005-05-05.html
Ähnliche Seiten

Dürfte doch eigentlich garnicht sein oder ?

validier mal deinen robots.txt ... ich glaube, 2* Disallow verwirrt den bot ...

Sieht so aus als ob du Recht haben könntest....

Danke für den Tipp, ich werde es mal beobachten ob es funktioniert.

2 x Disallow verwirrt nicht den Bot, aber mit

User-agent: *
Disallow:

hast Du alles erlaubt, d.h. deine Ausschlüsse funktionieren dann nicht mehr.

Hab jetzt das Disallow ohne jegliche Eigenschaft rausgenommen und nur noch drin was verboten ist...

Denke mal das es jetzt klappt... Danke für die Hinweise

Man lernt halt nie aus