Bitte mein robots.txt kontrollieren

Beitrag von **RBB** » 01.02.2013, 16:18

Das System der Lenkung von Suchmaschinen durch die eigenen Internet-Seiten ist verwirrend. Ich habe noch keine kompakte Darstellung mit einleuchtenden Beispielen gefunden.

Hier mein robots.txt, zurecht gemacht für ein Forum ( smf - www.simplemachines.org ); es geht mir vor allem darum, keinen schweren Fehler im robots.txt zu haben. Ich habe es im Wesentlichen aus verschiedenen Quellen zusammenkopiert.

User-agent: *
Disallow: /?PHPSESSID
Disallow: /*?*
Disallow: /*msg*
Disallow: /search2/
Disallow: /stats/
Disallow: /trackip/
Disallow: /*sort=*
Disallow: /index.php?action=activate
Disallow: /index.php?action=admin
Disallow: /index.php?action=calendar
Disallow: /index.php?action=emailuser
Disallow: /index.php?action=findmember
Disallow: /index.php?action=help
Disallow: /index.php?action=helpadmin
Disallow: /index.php?action=login
Disallow: /index.php?action=logout
Disallow: /index.php?action=mlist
Disallow: /index.php?action=modifykarma
Disallow: /index.php?action=pm
Disallow: /index.php?action=post
Disallow: /index.php?action=printpage
Disallow: /index.php?action=profile
Disallow: /index.php?action=recent
Disallow: /index.php?action=register
Disallow: /index.php?action=reminder
Disallow: /index.php?action=search
Disallow: /index.php?action=theme
Disallow: /index.php?action=unread
Disallow: /index.php?action=unreadreplies
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=who
Disallow: /index.php?action=stats
Disallow: /index.php?theme
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?*;wap
Disallow: /index.php?*;wap2
Disallow: /index.php?*;imode

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: MSNBOT_Mobile
Allow: /*wap
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

von **Anzeige von ABAKUS** »

Beitrag von **Beloe007** » 01.02.2013, 17:16

Ohne deine Seite genau durchzugehen und zu checken was was ist, ist keine richtige Aussage möglich, ob alles richtig ist oder ob evtl was fehlt, dauert locker 3-X Stunden.

Musst halt mal die URLs prüfen, ob alles ausgeschlossen ist was ausgeschlossen werden soll und umgekehrt.

Beitrag von **Tippi** » 01.02.2013, 17:57

Allow ist überflüssig

Beitrag von **kanuddel** » 02.02.2013, 00:14

lad deine robots hoch, danach crawle deine seite mit einem crawler dem du sagst , dass er sich an die robots.txt halten soll. dann siehst du ja, was er allees crawlt. wenn dort zeug dabei ist, was nicht sein soll, weisst du, was du noch ausschließen musst.

Beitrag von **RBB** » 02.02.2013, 20:24

kanuddel hat geschrieben:lad deine robots hoch, danach crawle deine seite mit einem crawler dem du sagst , dass er sich an die robots.txt halten soll. dann siehst du ja, was er allees crawlt. wenn dort zeug dabei ist, was nicht sein soll, weisst du, was du noch ausschließen musst.

Danke für die Antworten!

kanuddel, kannst Du mir bitte einen entsprechenden Link, auf einen crawler, angeben, ich habe nichts brauchbares gefunden.

Beitrag von **kanuddel** » 02.02.2013, 23:13

https://www.screamingfrog.co.uk/seo-spider/
der ist super. ich weiss aber nicht wie weit du mit der testversion kommst, also welche beschränkungen die hat. exportieren wird bestimmt nicht gehen, sollte in deinem fall ja auch nicht nötig sein.

Beitrag von **luzie** » 04.02.2013, 13:41

User-agent: Googlebot-Image
Disallow: /

Warum machst du das denn?

Beitrag von **RBB** » 05.02.2013, 08:49

luzie hat geschrieben:User-agent: Googlebot-Image
Disallow: /

Warum machst du das denn?

Das habe ich leider nur so aus eine Vorlager abgeschrieben.

Soll ich die Zeilen entfernen?

Danke

Beitrag von **Murphy** » 05.02.2013, 18:09

Ich würde es entfernen.

Je nach dem sogar richtig was bringen je nach Projekt