Seite 1 von 1

robots.txt fehlerhaft?

Verfasst: 08.05.2006, 08:34
von Margin
Moin moin,

mein "Erstlingswerk" (Versuchskaninchen) scheint sich gnadenlos im freien Fall zu befinden.

Seiten-Alter: ca. 2 Jahre
URL in der Signatur
_____
Chronologie:
- Seite geht unter einer behelfsmäßigen Domain online
- die "richtige" Domain leitet per 301 auf die Behelfsdomain
- sämtliche Verlinkungen werden jedoch mit der "echten" Domain vorgenommen
- erste halbe bis dreiviertel Jahr dümpelt die Seite so vor sich hin
- dann allmählich Top-Plätze bei allen keys in den serps
(ich hatte Abakus entdeckt :D )

_____

- Anfang diesen Jahres bekommt die Seite nach langem Hickhack endlich ihre "richtige" Domain
- Nun Weiterleitung der Behelfs-Domain per 301 auf die "richtige"
- die Seite schlägt bei Google durch die Umstellung (?) ein paar Purzelbäume und fängt an, sich unter ihrer Domain zu stabilisieren, während die "alten" Ergebnisse fast alle verschwinden
_____

- direkt im Anschluss (fast zeitgleich) Umstellung der Forensoftware: nun mit Archiv (statische URLs)
- Google springt drauf an und hat auch ziemlich schnell ca. 300 Archiv-Seiten erfasst (nimmt aber immer noch welche mit dyn. URL mit auf)
- etwa Anfang April unterbinde ich das mit Hilfe (meiner ersten :oops: ) robots.txt
_____

Seit dem geht es nonstop abwärts.
Heute sind es gerade mal noch +/- 40 Archiv-Seiten im Index.
Rankingmäßig ist die Seite schon im Nirvana.


Wo liegt der Fehler?
Mein einziger Verdacht ist halt die robots.txt, aber dort kann ich nichts finden :cry:

Es wäre schön, wenn mir der eine oder andere einmal einen Schubs in die richtige Richtung geben könnte.


Grüßle Margin

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 08.05.2006, 10:26
von luigip

Code: Alles auswählen

User-Agent: Googlebot-Image
Schreibweise: agent


Der Block

Code: Alles auswählen

User-agent: Yahoo-MMCrawler
Disallow: /
ist doppelt vorhanden.

Code: Alles auswählen

User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.swf$
Würde ich nur für den googlebot angeben, da wildcards nicht dem Standard entsprechen. Außerdem verschwindet damit auch der doppelte User-agent: * Eintrag.
Nebenbei bemerkt halte ich diverse Bilddateien im rootverzeichnis für deplaziert. Ein eigener Ordner sollte es schon sein.

Verfasst: 08.05.2006, 10:55
von luigip
Von deinen, des Menüs beraubten Archivseiten aus der site-Abfrage wird per js auf wbblite/thread.php?threadid=181 weitergeleitet. Find ich nicht so tolle.
Inhaltlich haben die noch Vorhandenen nicht gerade viel zu bieten. Also wärs doch egal. :wink:

Verfasst: 08.05.2006, 11:11
von Margin
Hi luigip,

vielen Dank für Deine Mühe, Dir den Salat einmal anzuschauen! :)
(Und auch für Deine PM)

Ist soweit geändert, bis auf
Würde ich nur für den googlebot angeben, da wildcards nicht dem Standard entsprechen.
Da muss ich mir erst die Schreibweise zusammenbröseln *g*

Bei den Images hast Du Recht, die swf ist nach langem Ausprobieren irgendwie einfach dort liegen geblieben.
Der gesammelte Rest ist thematisch in div. Unterordnern.
(Deshalb hab ich's gesammelt vom root aus gesperrt.)

Das Forums-Archiv ist so'n Fix-und-Fertig-Teil von wbb (incl. der js-Weiterleitung), weil die Thematik noch a bissel meinen Horizont übersteigt.

Allerdings ist bei mir nun erst recht Kopfkratzen angesagt:
Wenn die von Dir gefundenen Punkte in der robots.txt schon alle Fehler waren, dann scheint mir der Grund für den merkwürdigen Absturz noch irgendwo ganz woanders zu liegen.

Nur wo?

Mit grübelnden Grüßen


Margin


*edit*
Egal ist es schon mal aus Prinzip nicht ;-)
Wie soll ich es sonst begreifen?
Zum anderen ist das mein "Testkaninchen" - bin ja wohl blond, aber fang doch nicht gleich mit 'nem relevanten Board an ;-)
(Auf der Seite des Hauptvereins kommt nochmal das gleiche auf mich zu.)

Verfasst: 08.05.2006, 11:24
von luigip
Margin hat geschrieben:Allerdings ist bei mir nun erst recht Kopfkratzen angesagt:
Wenn die von Dir gefundenen Punkte in der robots.txt schon alle Fehler waren, dann scheint mir der Grund für den merkwürdigen Absturz noch irgendwo ganz woanders zu liegen.
Ich würde das archiv sperren, denn so tolle sind die urls nicht: /wbblite/archive/181/thread.html
Dafür kannste das Disallow: /wbblite/thread.php aus der robots.txt weglassen, oder wenn du andere urls willst mod-rewrite bemühen (thread-181.html). Das Prob mit der js-Weiterleitung wäre damit auch umgangen.