Robots.txt für Media Wiki

[Gerald]

Hallo,

1. Frage
ich frage mich ob ich das Modul
Spezial:Random (zufällige Seite des Wiki´s)
Spezial:Recentchanges (letzte Änderungen)

besser über die Robots.txt ausschließen sollte? Besonders bei der Randomfunktion bin ich mir nicht sicher? Was meint ihr?

2. Frage
Wie kann ich folgende Version in der Robots.txt ausschließen, die Funktion "Artikelname" ist hier variabel.

index.php?title=Artikelname&action=history (Historisch ältere version des Artikels)

[martinc]

Hi, wenn du es richtig sauber lösen willst, musst diese mod_rewite Geschichte aufsetzen. Da Google auch das Sternchen versteht geht es da auch so. (die Letzten beiden Einträge sind optional, landen sonst aber sowieso unter den "zusätzlichen Ergebnissen"):

Code: Alles auswählen

User-agent: Googlebot
Disallow: *index.php?title=
Disallow: *index.php/Spezial:Random
Disallow: *index.php/MediaWiki
Disallow: *index.php/Spezial:Recentchangeslinked
Disallow: *index.php/Spezial:Whatlinkshere

Wichtig ist, dass die Druckansicht rausfliegt. Falls die Feeds gelesen werden sollen, musst du sie extra mit Allow wieder freigeben.

Falls dir noch mehr potentieller DC einfällt berichte mal!

[Gerald]

Nabend,

wäre es denn nicht Ratsam alle entsprechenden Bots zu Blocken also

User-agent: *

[martinc]

> wäre es denn nicht Ratsam alle entsprechenden Bots zu Blocken

Die anderen Bots kennen die Teilstrings nicht!

Wie gesagt, mach es am besten mit mod_rewrite. Die Wikipedia macht es
auch so. Der eigentliche Ordner ist .../w/... dort kannst du die ganz
normale Syntax mit title= benutzen. mod_rewrite schreibt alles wichtige
um nach .../wiki/... der Originalordner ist in der robots.txt gesperrt.

Siehe https://de.wikipedia.org/robots.txt

Code: Alles auswählen

User-agent: *
Disallow: /w/
Disallow: /trap/ ;-)