hält sich google eigentlich an die robots.txt ?

[andreas888]

ich hab in meiner robots.txt seit 3 Wochen drin:

Code: Alles auswählen

User-agent: *
Disallow: forum/memberlist.php 
...

aber trotzdem hat google nun im cache ein abbild der memberlist von vor ein paar tagen.

hält sich google gar nicht an die robots.txt ?

[LinkPop]

Probiers mal mit :

Code: Alles auswählen

Disallow: /forum/memberlist.php

[Michael]

Normalerweise ist Google da sehr präzise.
Im Gegensatz zu anderen "populären" Suchmaschinen kann Google sogar die Regeln beachten, wenn man mit einem HTTP 301 oder 302 eine Weiterleitung baut.
Z.B.
Link auf
1. https://bla/test1/
2. HTTP 301 Weiterleitung nach https://bla/test2/

Wenn also in der Robots.txt für Google /test1/ oder /test2/ verboten ist, folgt Google diesem Link nicht. Andere Suchmaschinen würden nur checken ob /test1/ in der robots.txt steht. Bei einer Weiterleitung wird nicht noch einmal geprüft. Eigentlich nicht richtig, und zeugt von einer unsauberen Programmierung die irgendwelche fertigen HTTP Module verwendet in denen vermutlich automatisch einer Weiterleitung folgt und nicht noch einmal die RobotRules checkt.
Lese mal die Sourcen von nutch 0.5. Hier ist das auch sehr gut umgesetzt.

Gruß
Michael

[andreas888]

danke - werd ich gleich mal korrigieren

[bull]

Der robots.txt-"Standard" sagt ja, daß Pfadangaben nach Disallow mit "/" beginnen sollten. Jedenfalls ist das bei allen Beispielen, die angegeben werden, so.

[andreas888]

ich hatte das ziemlich gedankenlos übernommen von diesem tread:
https://www.phpbb.com/phpBB/viewtopic.php?t=32328

probier grad an was rum, ein phpbb forum mit ziemlich einfachen änderungen, in google reinzubringen - vielleicht klappts nun ja doch noch..

[Nadia]

Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?

________

https://www.pauschalreisebuchen.de

[Optimizer]

To make sure that a page is not indexed each page should have a noindex tag !!
In general an SE looks first for the robots.txt file but it's better to have both.

regards,
OPtimizer

[LinkPop]

Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?

Man kann die robots.txt auch einsetzen, wenn man nix auszuschließen hat, z.b. um aggressive msnbots zu zügeln.