Vorsicht mit der robots.txt bei mit ohne www Eintrag

[spreen]

Richtig geärgert habe ich mich heute bei meiner täglichen site: Abfrage. Am Freitag habe ich mich bei google eingeloggt um meine domain von Seiten bzw. doppelten content zu befreien.

Ich habe deshalb die https://meinedomain.de/robots.txt url angegeben, so dass diese aus dem index entfernt wird. was ich aber nicht wusste ist das google anscheinend keinen unterschied für die Domain https://www.meinedomain.de/ macht. Ist momentan alles weg. Vom PR bis zu den Cached Sites. Ich könnt mir selber in den Hintern beißen.

Hat jemand von euch ähnliche Erfahrungen gemacht? Habt ihr ne Idee wie die Sites wieder in den Index kommen, oder ist 6 Monate warten angesagt? Sitemap ist natürlich wieder neu übermittelt und robots.txt iss jetzt raus!

[besserwisser]

hihi das ist ja zum Schiessen. Oh sorry, äh versteh schon, ist natürlich nicht zum Lachen Mitleid! ;(

zuerstmal möchte ich dir helfen: Also die Seiten sind eventuell noch nicht futsch. Ich hatte auch einmal durch einen Fehler eine ganze Reihe von Seiten auf noindex/nofollow gesetzt, ohne dass ich es wollte. Ein Linkpartner machte mich drauf aufmerksam und ich korrigierte den Fehler. Die Seiten waren weg (Balken=grau ) und nach Behebung des Fehlers hatten die Seiten in kürzester Zeit auch ihren alten PR wieder!
Also Ruhe bewahren! eventuell wirds wieder

Na und zu deinem Vermutung, dass google da einen Untereschied macht: Natürlich ist es möglich unterschiedliche Inhalte mit und ohne www zu hinterlegen. Natürlich kann google diese getrennten Inhalte unterscheiden und es wäre sicher möglich diese dann separat aus dem Index zu entfernen. Du hättest eine Weiterleitung mit 301 schalten müssen von einem Aufruf ohne www nach der URL mit www.

Gruß

[800XE]

Hilft dir zwar nicht beim reinkommen ....
... aber das nächste mal kannst du je nach DOmain (mit oder ohne www eine robots liefer. In die htacces muß dazu noch eine Rewrite damit auf die index.php gelenkt wird, oder auf eine robots.php .....


Abfragen ob die robots abgerufen wurde
und ob in der DOmain=HTTP_HOST das www vorne drin steht

hier ist jetzt wenn www gefunden
willst du ohne www verbieten

dann entferne das ! vor dem strcmpi

Code: Alles auswählen

if ( $_SERVER[REQUEST_URI]=="/robots.txt"
  &&  !strcmpi($_SERVER[HTTP_HOST], "www.", 4 )
{
    header("Content-type: text/plain");
    echo("\nUser-agent: msnbot");
    echo("\nUser-agent: msn");
    echo("\nDisallow: /");
    echo("\n");
}

oder

Code: Alles auswählen

function make301($goto)
{
  header("HTTP/1.1 301 Moved Permanently"); 
  header("Location: http://$goto"); // Umleitung des Browsers
  exit;
}


if ( $_SERVER[REQUEST_URI]=="/robots.txt"
  &&  !strcmpi($_SERVER[HTTP_HOST], "www.", 4 )
{
    make301("domain.tld");
}

[spreen]

Wenn man an den Support bei google schreibt bekommt man sogar eine Antwort, wenn auch nur standard

vielen Dank für Ihre E-Mail. Sie haben uns kontaktiert, weil Sie die
robots.txt-Datei für Ihre Website
meineseite.de über unser automatisches
System zum Entfernen von URLs übermittelt haben und Sie möchten, dass Ihre
URL vor Ablauf der 180 Tage dauernden Entfernung aus unserem Index wieder
aufgenommen wird.

Wir möchten darauf hinweisen, dass es funktioniert nicht, wenn Sie eine
robots.txt-Datei oder unser automatisches URL-Entfernungssystem benutzen,
um die HTTP- oder die WWW-Version Ihrer Website zu entfernen. Dann werden
beide Versionen für 180 Tage entfernt und es ist nicht möglich, Ihre
Website manuell wieder in den Index aufzunehmen.

Wenn Ihre Website in Zukunft in unseren Suchergebnissen mit zwei
verschiedenen URLs aufgeführt wird, sollten Sie diese zusammenführen. Dies
machen Sie am einfachsten, indem Sie Ihre HTTP-URL mit einer
301-Umleitungsanweisung auf Ihre WWW-URL umleiten. Dies dürfte die
Situation bereinigen, sobald unser Crawler die Änderung entdeckt haben.
Weitere Informationen zu 301-HTTP Umleitungen erhalten Sie unter
https://www.ietf.org/rfc/rfc2616.txt

Wir bedauern, Ihnen in dieser Angelegenheit nicht sofort weiterhelfen zu
können.

Für weitere Fragen stehen wir Ihnen gerne zur Verfügung.

Mit freundlichen Grüßen
Ihr Google-Team

[thejokemaster]

Nütze auf meiner Seite seit kurzem ein Referrer Script, die mit einer php Weiterleitung arbeitet.
Deswegen hab ich auch eine robots.txt Datei erstellt und diese in das Root Verzeichnis transferiert.

Sie sieht folgendermaßen aus:

# robots.txt for https://www.***.de/
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow: /go.php
Disallow: /referrers/

Müsste korrekt sein, dass Google weiterhin alle Seiten in den Index aufnimmt, bis auf go.php und den referrers ordner.

Bitte um ein kurzes Ja oder Nein.

Herzlichen Dank
TheJokeMaster

[robbelsche]

@spreen

https://www.google.de/support/bin/answe ... &topic=365

Nachtrag: Die Hilfe-Seite wurde nach https://www.google.de/support/webmaster ... topic=8523 verschoben.

@thejokemaster

https://de.selfhtml.org/diverses/robots.htm