so sieht meine Robots.txt aus:
Code: Alles auswählen
### meine Robotstextdatei von www.maxrev.de
User-agent: *
Disallow: /login.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /printtopic.php
Disallow: /emailtopic.php
Disallow: /download.php
Disallow: /ptopic*.htm$
Disallow: /ntopic*.htm$
Disallow: /fpost*.htm$
Disallow: /uttopic*.htm$
Disallow: /uptopic*.htm$
Disallow: /newtopic*.htm$
Disallow: /ftopic*asc*.htm$
Disallow: /wtopic*.htm$
https://www.google.de/search?hl=de&q=si ... v.de&meta=
Dann sieht man dort haufenweise genau diese Links. Zwar ohne Content, aber sie werden ja anscheinend doch gelistet.
Welche Erfahrungen habt ihr bei diesem Thema gemacht?