Google ignoriert robots & 301

[bydlo]

Dieser Daddel-Verein geht mir langsam aber sicher auf die Nüsse...
Szenario:
--Bestehende Website auf einer Subdomain (komplett andere Domain) zu Entwicklungszwecken gespiegelt
--Vorher robots.txt erstellt und Disallow für alles

Einige Tage später bricht das Ranking für die Hauptseite ein.
Siteabfrage der Subdomain ergibt über 400 Ergebnisse
Trotz korrekter robots.txt

Notbremse:
301 auf die Subdomain mit Ziel auf die ursprüngliche Site

Damit Google die Änderung auch spitzkriegt hab ich von der Hauptsite auf die Subdomain verlinkt (wo ja der 301 stattfindet).

Ergebnis:
Es werden jeden Tag mehr Ergebnisse bei der Siteabfrage statt weniger.
Die sollten Alk verkaufen in Mountain View.
Dann wär der Saftladen perfekt

[profo]

Überprüf die robots.txt mal in der Google Webmaster Central, es wird sich da vermutlich einfach ein Fehler eingeschlichen haben. Zb 404 oder 301 zur Index-Seite beim Zugriff auf die robots.txt.

[catcat]

Da muß nur 1 bot von woanders her kommen und Dich freundlicherweise 400x in eine uninteressante bookmarksite eingetragen haben und wenn da dann der google-bot vorbeischneit, dann biste halt drin.

Aber für die Zukunft weißte: Wenn Entwicklungssite, dann entweder lokal oder mit PW-Abfrage.

Lokal geht die Entwicklung eh schneller, da Du Dir die uploadzeiten sparst.

[bydlo]

@profo
die robots ist korrekt
@catcat
das ist unrelevant.
ein ordentlicher bot der sich an den standard hält hat , egal von wo er kommt oder worauf er zuerst zugreift erstmal die robots auszulesen.

in diesem fall gabs leider gründe für die entwicklung auf nem "nichtlokalen" server. ansonsten tu ichs ohnehin auf nem X(L)AMPP

und wieso werden es trotz 301 täglich mehr seiten im Index zu dieser Sub?
301, Freunde der Volksmusik !!!
permanent redirect !!

Dieses Google verkommt zu ner Gimmick-Bude

[nicolas]

Hast du auf allen Seiten den 301 auf die Hauptseite? Ich würde den Link auf die Subdomain von der Hauptseite löschen und die Subdomain mit .htacces schützen.

[catcat]

Schon klar @bydlo, das sich ein "ordentlicher" bot dran hält... aber Du weißt ja selbst, wieviele unordentliche bots es gibt, die Sites nur spidern, um sie dann auf dem eigenen Linkverzeichnis einzutragen.

Ich würde auch - wie nicolas vorschlägt - alle links zur subdomain löschen und ein PW-Schutz davor setzen.
Auch keine Grafiken/Scripte von ausserhalb der Subdomain einbinden usw.

[bydlo]

Hast du auf allen Seiten den 301 auf die Hauptseite? Ich würde den Link auf die Subdomain von der Hauptseite löschen und die Subdomain mit .htacces schützen.

das ist doch vollkommener unsinn.
Das ist ja ungefähr so als ob du für deine freundin nen zettel auf den küchentisch legst mit "treffen uns um 9 im Kino" und dann das schloß für die küche auswechselst und abschliesst.
Was glaubst du wann deine Freundin auftaucht???

manno, wie soll google statuscodes mitkriegen wenn du den Zugang verweigerst?

@catcat
hallo??

[seo-link]

Die robots.txt kannste knicken.
Habe heute eine neue Domain registriert und mit robots.txt versehen.
Trotzallem hat Google die Seite nun im Index ... sollte eigentlich erst ab 1.1. online gehen.

[mano_negra]

danke für die mitteilung. ich muss gerade so etwas ähnliches machen. da werde ich wohl sicherheitshalber einen pw-schutz verwenden.
saftladen

[Hasenhuf]

Wenn ich mir erhoffe mit einer robots.txt das Lesen zu verhindern, dann benutze ich die robots.txt. Wenn ich nicht will, daß etwas indexiert wird, dann mache ich das mit dem robots-metatag. Wen ich etwas nicht veröffentlichen will, dann mache ich es nicht öffentlich zugänglich. Ganz einfach eigentlich, ich nehme das was dafür da ist.

[picxl]

Bin auch der Meinung, dass solange etwas nicht öffentlich sein soll, dann kommt ein htaccess davor. Der Zugang kann völlig simpel sein (Benutzer=ich & PW=123) - das schnallen sogar Kunden.
Ansonsten traue ich euch allen eine korrekte robots.txt zu, doch hatte ich bisher nie Probleme mit Google & Co. bei ausgeschlossenen Inhalten; auch dann nicht, wenn ich sie von wo anders angelinkt hatte...