links für Spider in einem Verzeichnis gezielt ausblenden

Beitrag von **Pumpi** » 13.09.2005, 17:05

Hallo

wir möchten in einem PhpBB2-Forum gezielt unwichtige Links, wie z.B. Moderatorengruppen, Login, Userliste etc. ausblenden für Spider. Die bisherige Robots.txt im Hauptverzeichnis sieht so aus:

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /admin/

Wenn ich nun in meinem Forum im Verzeichnis phpBB2/ zum beispiel folgenden Bereich nicht spidern möchte: https://www.androgen-steroids.com/phpBB ... 2b957a1b62
dann den Robot.txt so ergänzen:

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /admin/
Disallow&#58; /phpBB2/groupcp.php?g=3

Oder ist da ein Denkfehler? Alle Links die im Forum nicht von Spidern besichtigt werden sollen möchte ich auf diese Art ausschließen. Die Variablen in der Who is online da weiß ich noch nicht genau was wir da machen werden. Ganz klar ist aber das wir zuviele Links haben die für Spider weg müssen. Ideen, Anregungen?

Danke

Gruß,
Markus

von **Anzeige von ABAKUS** »

Beitrag von **Hobby-SEO** » 16.09.2005, 00:32

Hallo Markus,

habe gerade gesehen, dass Du noch immer diese seltsame robots.txt hast. Wenn Du das Admin-Verzeichnis Deines Boards für Robots sperren möchtest, muss die Disallow-Regel in Deinem Fall

Disallow: /phpBB2/admin/

und nicht

Disallow: /admin/

lauten.

Anstatt für jede einzelne Usergroup, die nicht in den Google-Index aufgenommen werden soll, eine eigene Disallow-Regel zu formulieren, sollte folgendes genügen:

Disallow: /phpBB2/groupcp.php

Diese Regel sollte für Spider alles sperren, was in Deinem Forums-Verzeichnis mit "groupcp.php" beginnt.

Allgemein würde ich Dir empfehlen, Dich ein bisschen näher mit der robots.txt-Datei auseinander zu setzen (ist nicht böse gemeint sondern nur ein Rat).

Guck Dir doch mal die robots.txt dieses Forums hier an:
https://www.abakus-internet-marketing.de/robots.txt
Oder die robots.txt, die hier vorgestellt wird:
https://seo-phpbb.pc-freakforum.de/dopp ... ontent.php

(Achtung: Du musst in den Disallow-Regeln immer den korrekten Pfad zu den Dateien angeben, in Deinem Fall: Disallow: /phpBB2/xxxxxxxx)

Oder guck mal hier: https://www.abakus-internet-marketing.d ... 17677.html

Oder benutz doch einfach mal zum Spaß die Suchfunktion hier im Forum, bei phpbb.de oder auch bei Google. Ist nicht böse gemeint sondern nur ein Rat. Aber ich glaube, das sagte ich schon.

LG, Hobby-SEO

Beitrag von **Pumpi** » 16.09.2005, 01:08

Hallo Hobby-SEO,

das alles ist Neuland für mich und meinen Seitenpartner. Ich frag mich bis heute, wie wir es geschafft haben so weit zu kommen. Vielen dank für deine Tipps, wir werden versuchen alles umzusetzen und man liest sich wieder - irgendwo hier im Forum!

Liebe Grüße,
Markus