Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

hält sich google eigentlich an die robots.txt ?

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
andreas888
PostRank 4
PostRank 4
Beiträge: 126
Registriert: 20.10.2004, 00:06
Wohnort: Waldenburg

Beitrag von andreas888 » 20.10.2004, 01:12

ich hab in meiner robots.txt seit 3 Wochen drin:

Code: Alles auswählen

User-agent: *
Disallow: forum/memberlist.php 
...
aber trotzdem hat google nun im cache ein abbild der memberlist von vor ein paar tagen.

hält sich google gar nicht an die robots.txt ?
lg von Andreas
ps: Warum ich denke, dass iButler Affiliatemarketing verdrängen wird: https://www.leichte.info/artikel.php?id=52
Und warum man da JETZT einsteigen sollte !

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


LinkPop
PostRank 9
PostRank 9
Beiträge: 1681
Registriert: 02.05.2004, 13:52

Beitrag von LinkPop » 20.10.2004, 01:25

Probiers mal mit :

Code: Alles auswählen

Disallow: /forum/memberlist.php

Michael
PostRank 8
PostRank 8
Beiträge: 808
Registriert: 04.01.2004, 20:23
Wohnort: Herne

Beitrag von Michael » 20.10.2004, 07:35

Normalerweise ist Google da sehr präzise.
Im Gegensatz zu anderen "populären" Suchmaschinen kann Google sogar die Regeln beachten, wenn man mit einem HTTP 301 oder 302 eine Weiterleitung baut.
Z.B.
Link auf
1. https://bla/test1/
2. HTTP 301 Weiterleitung nach https://bla/test2/

Wenn also in der Robots.txt für Google /test1/ oder /test2/ verboten ist, folgt Google diesem Link nicht. Andere Suchmaschinen würden nur checken ob /test1/ in der robots.txt steht. Bei einer Weiterleitung wird nicht noch einmal geprüft. Eigentlich nicht richtig, und zeugt von einer unsauberen Programmierung die irgendwelche fertigen HTTP Module verwendet in denen vermutlich automatisch einer Weiterleitung folgt und nicht noch einmal die RobotRules checkt.
Lese mal die Sourcen von nutch 0.5. Hier ist das auch sehr gut umgesetzt.

Gruß
Michael

andreas888
PostRank 4
PostRank 4
Beiträge: 126
Registriert: 20.10.2004, 00:06
Wohnort: Waldenburg

Beitrag von andreas888 » 20.10.2004, 11:34

danke - werd ich gleich mal korrigieren :turn-l: :turn-l: :turn-l:
lg von Andreas
ps: Warum ich denke, dass iButler Affiliatemarketing verdrängen wird: https://www.leichte.info/artikel.php?id=52
Und warum man da JETZT einsteigen sollte !

bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 20.10.2004, 11:46

Der robots.txt-"Standard" sagt ja, daß Pfadangaben nach Disallow mit "/" beginnen sollten. Jedenfalls ist das bei allen Beispielen, die angegeben werden, so.

andreas888
PostRank 4
PostRank 4
Beiträge: 126
Registriert: 20.10.2004, 00:06
Wohnort: Waldenburg

Beitrag von andreas888 » 21.10.2004, 00:25

ich hatte das ziemlich gedankenlos übernommen von diesem tread:
https://www.phpbb.com/phpBB/viewtopic.php?t=32328

probier grad an was rum, ein phpbb forum mit ziemlich einfachen änderungen, in google reinzubringen - vielleicht klappts nun ja doch noch..
lg von Andreas
ps: Warum ich denke, dass iButler Affiliatemarketing verdrängen wird: https://www.leichte.info/artikel.php?id=52
Und warum man da JETZT einsteigen sollte !

Nadia
PostRank 1
PostRank 1
Beiträge: 12
Registriert: 06.04.2004, 11:15

Beitrag von Nadia » 22.10.2004, 11:31

Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?

________

https://www.pauschalreisebuchen.de

Optimizer
PostRank 7
PostRank 7
Beiträge: 531
Registriert: 15.08.2003, 11:12
Wohnort: Manila - Philippines

Beitrag von Optimizer » 22.10.2004, 13:35

To make sure that a page is not indexed each page should have a noindex tag !!
In general an SE looks first for the robots.txt file but it's better to have both.

regards,
OPtimizer

LinkPop
PostRank 9
PostRank 9
Beiträge: 1681
Registriert: 02.05.2004, 13:52

Beitrag von LinkPop » 22.10.2004, 19:10

Nadia hat geschrieben:Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?
Man kann die robots.txt auch einsetzen, wenn man nix auszuschließen hat, z.b. um aggressive msnbots zu zügeln.

Antworten