Normal oder nicht normal ?

[Pseudo]

Hi Seo's

ich musste eben feststellen, dass nun Seiten von meinem Blog im Index sind die garnicht im Index seien sollten...

Folgender Aufbau:

In Meiner robots steht folgendes...
User-agent: *
Disallow:
Disallow: /archiv/

Das Verzeichnis /archiv hab ich ausgesperrt...

Nun finde ich ich aber über Site:domain.tld Seiten im Index mit folgenden Angaben...

domain.tld/archiv/2005-05-05.html
Ähnliche Seiten

Dürfte doch eigentlich garnicht sein oder ?

[buttheads]

validier mal deinen robots.txt ... ich glaube, 2* Disallow verwirrt den bot ...

[Pseudo]

Sieht so aus als ob du Recht haben könntest....

Danke für den Tipp, ich werde es mal beobachten ob es funktioniert.

[Pompom]

2 x Disallow verwirrt nicht den Bot, aber mit

User-agent: *
Disallow:

hast Du alles erlaubt, d.h. deine Ausschlüsse funktionieren dann nicht mehr.

[Pseudo]

Hab jetzt das Disallow ohne jegliche Eigenschaft rausgenommen und nur noch drin was verboten ist...

Denke mal das es jetzt klappt... Danke für die Hinweise

Man lernt halt nie aus