Links für Robots sperren

Beitrag von **Alex** » 21.09.2004, 13:20

Hallo alle miteinander,

wie ich für ordner über die robot.txt den zugriff für Robots sperre weiß ich nur wie mache ich das für links ?
Ich möchte z.B das die Robot diesen Link nicht aufrufen
index.php?we=105

Gruß
Alex

von **Anzeige von ABAKUS** »

Beitrag von **Metaman** » 21.09.2004, 13:26

das kannst Du soviel ich weiß nicht über die robots.txt machen.
du könntest höchstens in der Seite selber den Robots Metatag einbauen und auf noindex setzen.
allerdings ist dieser Meta Tag kein zwingender Befehl für die Spider sondern nur eine Empfehlung !!

Um wirklich sicher zu gehen das die Spider diese Seite nicht finden, könntest du über beispielsweise über PHP den USeragennt abfragen, und dann diese Links einfach nicht einblenden wenn gerade ein Spider auf der Seite ist...

Beitrag von **Alex** » 28.09.2004, 15:50

Hallo,

Um wirklich sicher zu gehen das die Spider diese Seite nicht finden, könntest du über beispielsweise über PHP den USeragennt abfragen, und dann diese Links einfach nicht einblenden wenn gerade ein Spider auf der Seite ist...

Ist natürlich eine Überlegung wert jedoch mit etwas aufwand verbunden oder ?
Es ist ja nicht nur der googlebot sonder auch andere Sumas die ich mit ausschießen müsste.

von **Anzeige von ABAKUS** »

Beitrag von **elo22** » 22.10.2004, 09:49

[quote="Metaman"]
Um wirklich sicher zu gehen das die Spider diese Seite nicht finden, könntest du über beispielsweise über PHP den USeragennt abfragen, und dann diese Links einfach nicht einblenden wenn gerade ein Spider auf der Seite ist...[/quote]

Bei mir ist es eher anderes rum. Wie kann ich einem bestimmten Useragenten eine andere Seite zeigen?

Lutz

Beitrag von **bull** » 22.10.2004, 09:59

Alle outbound-Skripte, wie sie auch z.B. in diesem Forum eingesetzt werden, haben ja das Ziel, Links nicht-verfolgbar zu machen - und so den PageRank-Abfluß zu verhindern. Zu diesem Zwecke ist das outbound-Skript via robots.txt als Disallowed angegeben (bitte Forum-Suche benutzen für Skript an sich). (Es gibt Gerüchte, wonach Google allerdings mittlerweile derartige Skripte erkennt - die kann bei einem Link wie "out.php?id=4444" nicht der Fall sein, und lediglich dann, wenn die volle Ziel-URL im outbound-Link angegeben ist.)

Was in diesem Faden hier allgemein diskutiert wird als "cloaking" bezeichnet, über dessen Auswirkungen im Falle einer Entdeckung durch Google man sich informieren möge.