hält sich google eigentlich an die robots.txt ?

Beitrag von **andreas888** » 20.10.2004, 01:12

ich hab in meiner robots.txt seit 3 Wochen drin:

User-agent&#58; *
Disallow&#58; forum/memberlist.php 
...

aber trotzdem hat google nun im cache ein abbild der memberlist von vor ein paar tagen.

hält sich google gar nicht an die robots.txt ?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **LinkPop** » 20.10.2004, 01:25

Probiers mal mit :

Code: Alles auswählen

Disallow&#58; /forum/memberlist.php

Beitrag von **Michael** » 20.10.2004, 07:35

Normalerweise ist Google da sehr präzise.
Im Gegensatz zu anderen "populären" Suchmaschinen kann Google sogar die Regeln beachten, wenn man mit einem HTTP 301 oder 302 eine Weiterleitung baut.
Z.B.
Link auf
1. https://bla/test1/
2. HTTP 301 Weiterleitung nach https://bla/test2/

Wenn also in der Robots.txt für Google /test1/ oder /test2/ verboten ist, folgt Google diesem Link nicht. Andere Suchmaschinen würden nur checken ob /test1/ in der robots.txt steht. Bei einer Weiterleitung wird nicht noch einmal geprüft. Eigentlich nicht richtig, und zeugt von einer unsauberen Programmierung die irgendwelche fertigen HTTP Module verwendet in denen vermutlich automatisch einer Weiterleitung folgt und nicht noch einmal die RobotRules checkt.
Lese mal die Sourcen von nutch 0.5. Hier ist das auch sehr gut umgesetzt.

Gruß
Michael

Beitrag von **andreas888** » 20.10.2004, 11:34

danke - werd ich gleich mal korrigieren

Beitrag von **bull** » 20.10.2004, 11:46

Der robots.txt-"Standard" sagt ja, daß Pfadangaben nach Disallow mit "/" beginnen sollten. Jedenfalls ist das bei allen Beispielen, die angegeben werden, so.

Beitrag von **andreas888** » 21.10.2004, 00:25

ich hatte das ziemlich gedankenlos übernommen von diesem tread:
https://www.phpbb.com/phpBB/viewtopic.php?t=32328

probier grad an was rum, ein phpbb forum mit ziemlich einfachen änderungen, in google reinzubringen - vielleicht klappts nun ja doch noch..

Beitrag von **Nadia** » 22.10.2004, 11:31

Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?

________

https://www.pauschalreisebuchen.de

Beitrag von **Optimizer** » 22.10.2004, 13:35

To make sure that a page is not indexed each page should have a noindex tag !!
In general an SE looks first for the robots.txt file but it's better to have both.

regards,
OPtimizer

Beitrag von **LinkPop** » 22.10.2004, 19:10

Nadia hat geschrieben:Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?

Man kann die robots.txt auch einsetzen, wenn man nix auszuschließen hat, z.b. um aggressive msnbots zu zügeln.