Einzelne Seiten aus G entfernen - Vorgehensweise richtig?

Beitrag von **snowmanmh** » 20.12.2004, 12:27

Hallo,

ich habe in Google einige Seiten drin, die ich so schnell wie möglich raushaben möchte. Folgendes habe ich dazu getan:

1. Seiten gelöscht (werden nicht mehr benötigt)
2. In robots.txt mit Disallow die Seiten zusätzlich gesperrt.

Nun meine Frage: Ist das überhaupt sinnvoll diese nicht mehr vorhandenen Seiten per Disallow zu sperren?

Ich frage mich ob der Bot es nicht schneller merkt, wenn er einfach auf den 404 Error läuft, oder wenn er sich die robots.txt holt?

Wie wir wissen, sind die Seiten die per robots.txt gesperrt wurden ja trozdem in G drin, eben nur ohne Inhalt...

Grüsse Mario

von **Anzeige von ABAKUS** »

Beitrag von **terese0815** » 20.12.2004, 12:30

Würde die Seiten auf jeden Fall mit 404 kennzeichnen und alle internen Links dazu rausnehmen. Das Disallow in robots.txt in Bezug auf eine Datei funktioniert bei Google nicht wirklich.

Grüße

Stefan

Beitrag von **snowmanmh** » 20.12.2004, 12:34

Hallo,

terese0815 hat geschrieben: Würde die Seiten auf jeden Fall mit 404 kennzeichnen und alle internen Links dazu rausnehmen.

Das ist der Fall.

Grüsse Mario

von **Anzeige von ABAKUS** »

Beitrag von **terese0815** » 20.12.2004, 12:36

Dann ist alles bestens. Mehr brauch man da nicht machen.

Beitrag von **chulian** » 20.12.2004, 12:52

ich glaube eine 410 header wäre hier wohl angebrachter. angeblich soll die seite dann schneller aus dem index gelöscht werden.

https://www.ososo.de/suchmaschinen-faq/ ... entfernen/

Gruß
chulian

Beitrag von **terese0815** » 20.12.2004, 12:55

chulian hat geschrieben:ich glaube eine 410 header wäre hier wohl angebrachter. angeblich soll die seite dann schneller aus dem index gelöscht werden.

https://www.ososo.de/suchmaschinen-faq/ ... entfernen/

Gruß
chulian

Das kannte ich noch garnicht. Hast Du das schonmal probiert? Wäre perfekt wenn es funktioniert.

Beitrag von **snowmanmh** » 20.12.2004, 14:38

Hallo,

chulian hat geschrieben:
ich glaube eine 410 header wäre hier wohl angebrachter. angeblich soll die seite dann schneller aus dem index gelöscht werden.

Ich habe den Apache jetzt so konfiguriert, das er für die betreffenden Seiten einen solchen 410 Error auswift...

Mal sehen ob das funktioniert!

Grüsse Mario

Beitrag von **chulian** » 20.12.2004, 14:44

mit diesem tool kann dann ganz schön den header auslesen.

https://web-sniffer.net/

Beitrag von **Halli** » 21.12.2004, 02:19

snowmanmh hat geschrieben:Ich habe den Apache jetzt so konfiguriert, das er für die betreffenden Seiten einen solchen 410 Error auswift...

Mal sehen ob das funktioniert!

Wir hatten ein Riesenproblem damit, dass Google unsere Domain ohne "www." als doppelten content ansah. Nachem wir nun dafür gesorgt haben, dass der Aufruf von https://at-mix.de/irgendetwas einen 410 Gone liefert, verschwinden die überflüssigen Seiten langsam aus dem Index.

Beitrag von **Armi** » 21.12.2004, 02:21

Wir hatten ein Riesenproblem damit, dass Google unsere Domain ohne "www." als doppelten content ansah. Nachem wir nun dafür gesorgt haben, dass der Aufruf von https://at-mix.de/irgendetwas einen 410 Gone liefert, verschwinden die überflüssigen Seiten langsam aus dem Index.

Andere Frage: Wurdet Ihr deswegen stark abgewertet?

Beitrag von **Halli** » 21.12.2004, 02:28

Armi hat geschrieben:Andere Frage: Wurdet Ihr deswegen stark abgewertet?

Ja !!! Wir hatten bis zu 60% Traffic-Verlust.
Die Seiten ohne www. hatten das text-Snippet und waren auch im Cache, allerdings wurden sie auch als 'zusätzliches Ergebnis' deklariert. Die SELBE Seite mit www. war nur mit der URL im Index --> beide Versionen wurden nicht gefunden.

Beitrag von **Christophe** » 21.12.2004, 04:52

terese0815 hat geschrieben:
chulian hat geschrieben:ich glaube eine 410 header wäre hier wohl angebrachter. angeblich soll die seite dann schneller aus dem index gelöscht werden.
Das kannte ich noch garnicht. Hast Du das schonmal probiert? Wäre perfekt wenn es funktioniert.

Ich habe in der letzten Zeit viel mit 301 und 410 gearbeitet um ein phpBB zu entschlacken. Während bei der MSN-beta-Suche 13.000 Seiten korrekt indiziert wurden, hat Google zwar viel und korrekt gespidert, in den Suchergebnissen hat sich leider gar nichts getan.

Halli hat geschrieben:Wir hatten ein Riesenproblem damit, dass Google unsere Domain ohne "www." als doppelten content ansah. Nachem wir nun dafür gesorgt haben, dass der Aufruf von https://at-mix.de/irgendetwas einen 410 Gone liefert, verschwinden die überflüssigen Seiten langsam aus dem Index.

Warum habt ihr keinen 301 Moved Permanently gesendet? Das wäre in dem Fall die "richtige" Lösung. Theroretisch werden sogar Pagerank/ Backlinks übernommen und Besucher gehen auch nicht verloren.

Beitrag von **Halli** » 22.12.2004, 01:41

Christophe hat geschrieben:Warum habt ihr keinen 301 Moved Permanently gesendet? Das wäre in dem Fall die "richtige" Lösung. Theroretisch werden sogar Pagerank/ Backlinks übernommen und Besucher gehen auch nicht verloren.

Ja, das dachten wir auch und hatten am Anfang auch den 301 Redirect (siehe Thread Standarddomain von Jan) in der htaccess. Nur hat sich Google leider darum nicht gekümmert, einfach beide Seiten (mit und ohne www.) in den Index aufgenommen und dann als doppelten Content abgestraft.

Beitrag von **mcchaos** » 14.02.2005, 13:18

Könnt Ihr ein Zeitfenster nennen, bis der 410er ca. zu wirken beginnt? Habe Anfang Dezember auf die überflüssigen Seiten ein 410er gesetzt, funktioniert auch (danke für den Link zum HTTP-Response-Header-Tool), aber bisher zeigt sich Google unbeeindruckt und alle Seiten sind noch drin.

Beitrag von **katerina** » 14.02.2005, 13:46

Habe sehr gute Erfahrungen mit 301 gemacht, jedoch nicht in .htaccess, sondern per header in PHP.
Funzt nach spätestens zwei DeepCrawls, dh. nach ca. 2-4 Wochen, aber i.d.R. schneller. (PR4)

Gruß
Katerina