Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Bitte mein robots.txt kontrollieren

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
RBB
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 28.01.2013, 08:16

Beitrag von RBB » 01.02.2013, 16:18

Das System der Lenkung von Suchmaschinen durch die eigenen Internet-Seiten ist verwirrend. Ich habe noch keine kompakte Darstellung mit einleuchtenden Beispielen gefunden.

Hier mein robots.txt, zurecht gemacht für ein Forum ( smf - www.simplemachines.org ); es geht mir vor allem darum, keinen schweren Fehler im robots.txt zu haben. Ich habe es im Wesentlichen aus verschiedenen Quellen zusammenkopiert.

User-agent: *
Disallow: /?PHPSESSID
Disallow: /*?*
Disallow: /*msg*
Disallow: /search2/
Disallow: /stats/
Disallow: /trackip/
Disallow: /*sort=*
Disallow: /index.php?action=activate
Disallow: /index.php?action=admin
Disallow: /index.php?action=calendar
Disallow: /index.php?action=emailuser
Disallow: /index.php?action=findmember
Disallow: /index.php?action=help
Disallow: /index.php?action=helpadmin
Disallow: /index.php?action=login
Disallow: /index.php?action=logout
Disallow: /index.php?action=mlist
Disallow: /index.php?action=modifykarma
Disallow: /index.php?action=pm
Disallow: /index.php?action=post
Disallow: /index.php?action=printpage
Disallow: /index.php?action=profile
Disallow: /index.php?action=recent
Disallow: /index.php?action=register
Disallow: /index.php?action=reminder
Disallow: /index.php?action=search
Disallow: /index.php?action=theme
Disallow: /index.php?action=unread
Disallow: /index.php?action=unreadreplies
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=who
Disallow: /index.php?action=stats
Disallow: /index.php?theme
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?*;wap
Disallow: /index.php?*;wap2
Disallow: /index.php?*;imode

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: MSNBOT_Mobile
Allow: /*wap
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Beloe007
PostRank 10
PostRank 10
Beiträge: 2928
Registriert: 05.03.2009, 10:31

Beitrag von Beloe007 » 01.02.2013, 17:16

Ohne deine Seite genau durchzugehen und zu checken was was ist, ist keine richtige Aussage möglich, ob alles richtig ist oder ob evtl was fehlt, dauert locker 3-X Stunden.

Musst halt mal die URLs prüfen, ob alles ausgeschlossen ist was ausgeschlossen werden soll und umgekehrt.

Tippi
PostRank 6
PostRank 6
Beiträge: 438
Registriert: 06.06.2012, 20:32

Beitrag von Tippi » 01.02.2013, 17:57

Allow ist überflüssig

kanuddel
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 08.07.2010, 13:40
Wohnort: München

Beitrag von kanuddel » 02.02.2013, 00:14

lad deine robots hoch, danach crawle deine seite mit einem crawler dem du sagst , dass er sich an die robots.txt halten soll. dann siehst du ja, was er allees crawlt. wenn dort zeug dabei ist, was nicht sein soll, weisst du, was du noch ausschließen musst.

RBB
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 28.01.2013, 08:16

Beitrag von RBB » 02.02.2013, 20:24

kanuddel hat geschrieben:lad deine robots hoch, danach crawle deine seite mit einem crawler dem du sagst , dass er sich an die robots.txt halten soll. dann siehst du ja, was er allees crawlt. wenn dort zeug dabei ist, was nicht sein soll, weisst du, was du noch ausschließen musst.
Danke für die Antworten!

kanuddel, kannst Du mir bitte einen entsprechenden Link, auf einen crawler, angeben, ich habe nichts brauchbares gefunden.

kanuddel
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 08.07.2010, 13:40
Wohnort: München

Beitrag von kanuddel » 02.02.2013, 23:13

https://www.screamingfrog.co.uk/seo-spider/
der ist super. ich weiss aber nicht wie weit du mit der testversion kommst, also welche beschränkungen die hat. exportieren wird bestimmt nicht gehen, sollte in deinem fall ja auch nicht nötig sein.

luzie
PostRank 10
PostRank 10
Beiträge: 4228
Registriert: 12.07.2007, 13:43
Wohnort: Hannover, Linden-Nord

Beitrag von luzie » 04.02.2013, 13:41

User-agent: Googlebot-Image
Disallow: /


Warum machst du das denn?

RBB
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 28.01.2013, 08:16

Beitrag von RBB » 05.02.2013, 08:49

luzie hat geschrieben:User-agent: Googlebot-Image
Disallow: /


Warum machst du das denn?
Das habe ich leider nur so aus eine Vorlager abgeschrieben.

Soll ich die Zeilen entfernen?

Danke

Murphy
PostRank 4
PostRank 4
Beiträge: 124
Registriert: 30.12.2005, 16:11
Wohnort: Germany

Beitrag von Murphy » 05.02.2013, 18:09

Ich würde es entfernen.

Je nach dem sogar richtig was bringen je nach Projekt

Antworten