Hallo hab ne Frage zur robots.txt und will da ganz sicher gehen.
Mein cms baut die Urls der einzelnen Seiten wie folgt auf
https://www.meinedomain.de/index.php?actpage=artikel
Ich möchte aber in der Robots.txt diesen Link ausschließen damit er nicht gespidert wird. Insbesondere von Google
Bin jetzt aber verwirrt da google ja auch wildcards beim interpretieren der robots.txt liest z.b. ?
ist es demnach richtig wenn ich dies so
in meiner robots.txt angebe ?
Disallow: /index.php?actpage=artikel
Ich möchte nämlich ausschließen, das google eventuell auf die idee kommt die kompletten seiten index.php mit parametern nicht mehr zu spidern. Es gibt da natürlich noch andere die allerdings unbedingt gespidert werden sollen. bloß der actpage parameter ändert sich da.
Hab da nicht soviel erfahrung deshalb bräuchte ich hier professionellen rat.
Danke Nicholas
Archiv
