robots.txt dynamische seiten aussperren

[nicholas24]

Hallo hab ne Frage zur robots.txt und will da ganz sicher gehen.

Mein cms baut die Urls der einzelnen Seiten wie folgt auf

https://www.meinedomain.de/index.php?actpage=artikel

Ich möchte aber in der Robots.txt diesen Link ausschließen damit er nicht gespidert wird. Insbesondere von Google
Bin jetzt aber verwirrt da google ja auch wildcards beim interpretieren der robots.txt liest z.b. ?

ist es demnach richtig wenn ich dies so
in meiner robots.txt angebe ?

Disallow: /index.php?actpage=artikel


Ich möchte nämlich ausschließen, das google eventuell auf die idee kommt die kompletten seiten index.php mit parametern nicht mehr zu spidern. Es gibt da natürlich noch andere die allerdings unbedingt gespidert werden sollen. bloß der actpage parameter ändert sich da.

Hab da nicht soviel erfahrung deshalb bräuchte ich hier professionellen rat.

Danke Nicholas

[chris21]

Google wird Deine Anweisung schon verstehen und nur die index mit diesem Parameter actpage=artikel rauswerfen. Da das Sperren einer Seite über robots.txt aber nicht zwangsläufig zum Nichtmehrerscheinen der Seite index.php?actpage=artikel in den SERPs führt, könntest Du noch überlegen, ob Du zusätzlich über eine php if Kondition einen noindex senden willst.

Falls Du die Webmaster Tools unter www.google.de/webmasters/ nutzt: da gibt es u.a. ein Tool zum testen Deiner robots.txt. Dort kannst Du vorab prüfen, welche Auswirkungen Deine robots.txt hat, bevor Du sie live schaltest.

Ach: willkommen im Abakus Forum

[nicholas24]

Ja mit den Webmastertools arbeite ich auch allerdings habe ich da kein Tool gefunden was mir die Auswirkungen meiner robots.txt anzeigt.

Ich kann testen ob die robots.txt ok ist das ist klar aber wo ist das tool das mir anzeigt welche auswirkungen meine robots hat ?

gruß nicholas

[chris21]

Hi Nicholas,

bei den Webmastertools gibt es einen Unterpunkt robots.txt Analyse, damit kannst Du testen, ob eine Unterseite durch Deine robots.txt von der Indizierung gesperrt wird oder nicht.

https://www.google.com/webmasters/tools ... d%2F&hl=de

[Brandon_kn]

Ich möchte da mal kurz einhaken. Ist es möglich dem Bot per robots.txt zu sagen, dass er z.B. keine php-Dateien ohne Parameter (?foo=bar) spidern darf? Also anders rum: Es dürfen nur Seiten aufgenommen werden die datei.php?foo=bar und nicht datei.php lauten.

Geht das mittels

Disallow: /*.php$

Gruß Brandon

Sorry, hab ich vergessen. Hab ich hier gelesen:

https://www.devmag.net/suchmaschinen/robots_txt.htm

[chris21]

Hi Brandon

ja, soetwas ist möglich:

ich würde dabei aber folgendes machen:

Allow: /*.php?*
Disallow: /*.php$

PS: immer hilfreich:

https://www.google.com/support/webmaste ... tx=sibling

sowie die Robots.txt Analyse in der Webmaster Console.