Robots.txt für PHPBB mit mod_rewrite

Beitrag von **errormaster** » 29.11.2004, 18:52

Hallo zusammen....

I know, hier gabs schon mal was zu dem Thema, half aber nix ..

hab ein Problem mit Google und meinem PHPBB Forum ....

Hab darin mod_ewrite an und ne robots.txt die eigentlich den Googlebot aus den dynamischen Seiten (Benutzerprofile [profile.php] usw..) aussperren sollte ...

Leider klappt das aber nicht so wie ich es mir dachte .. Google nimmt weiterhin dynamische Seiten des Forums auf ...

Könnt mir da wer weiterhelfen?

Hier meine robots.txt:

Code: Alles auswählen

User-agent&#58; Googlebot
Allow&#58; /
Disallow&#58; /forum/*?
Disallow&#58; /forum/ptopic*.html
Disallow&#58; /forum/ntopic*.html
Disallow&#58; /forum/ftopic*asc*.html
Disallow&#58; /forum/admin/ 
Disallow&#58; /forum/db/
Disallow&#58; /forum/files/ 
Disallow&#58; /forum/images/ 
Disallow&#58; /forum/includes/ 
Disallow&#58; /forum/language/ 
Disallow&#58; /forum/templates/ 
Disallow&#58; /forum/common.php 
Disallow&#58; /forum/config.php 
Disallow&#58; /forum/groupcp.php 
Disallow&#58; /forum/memberlist.php
Disallow&#58; /forum/mini_cal.php 
Disallow&#58; /forum/profile.php
Disallow&#58; /forum/ranks.php 
Disallow&#58; /forum/search.php
Disallow&#58; /forum/statistics.php 
Disallow&#58; /forum/viewonline.php
Disallow&#58; /forum/login.php

Laut Google sollte eigentlich Disallow: /forum/*? verhindern das dynamische Seiten gespidert werden ... ist aber irgendwie net der Fall ...

URL zum Forum schick ich per PN falls die zur Hilfe benötigt wird.

Grüße vom errormaster

von **Anzeige von ABAKUS** »

Beitrag von **Garfield** » 29.11.2004, 22:40

Wann haste denn die robots.txt reingesetzt ?

Bei mir hat das etwas gedauert, bis das zog, mehrere Wochen. Und die dyn. URLs sind immer noch im Datenbestand, aber ohne Beschreibung mittlerweile.

Beitrag von **errormaster** » 30.11.2004, 00:18

Die robots.txt hab ich vor mehr als ner Woche reingesetzt ...

Die dynamischen URLs sind bei mir ebenfalls ohne Beschreibung drin ... nur die .HTML Dateien haben eine...

Beitrag von **Southmedia** » 30.11.2004, 00:25

Laut Google sollte eigentlich Disallow: /forum/*? verhindern das dynamische Seiten gespidert werden

Darf man fragen wo du das her hast?

Beitrag von **errormaster** » 30.11.2004, 00:33

Ja klar darfst du:

https://www.google.de/intl/de/webmasters/faq.html

Punkt 12 bei "Fragen zur Googlebot-Technik "

Grüße vom errormaster

Beitrag von **Southmedia** » 30.11.2004, 01:00

Hui, das kannte ich bisher auch noch nicht. Standard ist es auf jeden Fall nicht, das ist sicher. Aber wenn der Googlebot es laut deren Seite es versteht sollte es schon funktionieren

Danke.

Zu deinem Problem nun aber, das wird sich wohl noch eine ganze Zeit lang hinziehen bis was passiert. Aus Erfahrung kann ich dir sagen dass es zwischen 3 Tagen und 3 Monaten gehen kann - purer Zufall.
Vermutlich werden die URLs auch nicht ganz verschwinden sondern die URL wird weiter drin bleiben, allerdings ohne Titel und Beschreibung - und dadurch wird die Seite auch nicht mehr bei Suchabfragen auftauchen. Damit ist die Seite also faktisch nicht mehr im Index.

Beitrag von **errormaster** » 30.11.2004, 01:11

Southmedia hat geschrieben:Hui, das kannte ich bisher auch noch nicht. Standard ist es auf jeden Fall nicht, das ist sicher.

Musste auch ne Weile suchen bis ich es wieder gefunden habe ... Standard sind Platzhalter, laut robotstxt.org, auf jeden Fall generell nicht ...

Danke auf jeden Fall für deine Antwort, dann werd ich mal abwarten ...