Normal oder nicht normal ?

Beitrag von **Pseudo** » 09.08.2005, 19:52

Hi Seo's

ich musste eben feststellen, dass nun Seiten von meinem Blog im Index sind die garnicht im Index seien sollten...

Folgender Aufbau:

In Meiner robots steht folgendes...
User-agent: *
Disallow:
Disallow: /archiv/

Das Verzeichnis /archiv hab ich ausgesperrt...

Nun finde ich ich aber über Site:domain.tld Seiten im Index mit folgenden Angaben...

domain.tld/archiv/2005-05-05.html
Ähnliche Seiten

Dürfte doch eigentlich garnicht sein oder ?

von **Anzeige von ABAKUS** »

Beitrag von **buttheads** » 09.08.2005, 20:34

validier mal deinen robots.txt ... ich glaube, 2* Disallow verwirrt den bot ...

Beitrag von **Pseudo** » 09.08.2005, 21:18

Sieht so aus als ob du Recht haben könntest....

Danke für den Tipp, ich werde es mal beobachten ob es funktioniert.

Beitrag von **Pompom** » 09.08.2005, 23:08

2 x Disallow verwirrt nicht den Bot, aber mit

User-agent: *
Disallow:

hast Du alles erlaubt, d.h. deine Ausschlüsse funktionieren dann nicht mehr.

Beitrag von **Pseudo** » 10.08.2005, 13:22

Hab jetzt das Disallow ohne jegliche Eigenschaft rausgenommen und nur noch drin was verboten ist...

Denke mal das es jetzt klappt... Danke für die Hinweise

Man lernt halt nie aus