ABAKUS

Für dich noch mal zum mitschreiben. Wenn du das Teil über Webmastertools (das war die Frage: "Status: denied") sehr schnell entfernen willst: 404 oder 410 zwingend notwendig!

Alle anderen Varianten laufen über die reguläre Indexbereinigung per robots... das heißt: Warten bis google Laune und Muße hat.

Kein Grund gleich schnippisch zu werden.

Du machst ja jetzt auch eine andere Aussage.

Vorher: ich habe keinen 404 oder 410 geliefert, also geht das nicht.
Jetzt: naja mit 404/410 passiert sofort was, bei den anderen beiden dauert es.

Abgesehen davon, dass Google in der Zwischenzeit meine robots.txt schon mehrmals gelesen hat.

Und wenn dem so ist, finde ich diese Funktion ziemlich sinnlos, denn früher oder später liest Google die robots.txt ja ohne hin. Weshalb sollte Google dann sowas einrichten? Hmmm,...

holch hat geschrieben: Kein Grund gleich schnippisch zu werden.

Du machst ja jetzt auch eine andere Aussage.

Vorher: ich habe keinen 404 oder 410 geliefert, also geht das nicht.
Jetzt: naja mit 404/410 passiert sofort was, bei den anderen beiden dauert es.

Abgesehen davon, dass Google in der Zwischenzeit meine robots.txt schon mehrmals gelesen hat.

Und wenn dem so ist, finde ich diese Funktion ziemlich sinnlos, denn früher oder später liest Google die robots.txt ja ohne hin. Weshalb sollte Google dann sowas einrichten? Hmmm,...

Falsch. Ich habe eine klare Aussage gemacht. Hätten die von dir zur Löschung beauftragten Seiten (Webmastertools) den Fehlercode korrekt ausgeliefert, hättest du keine Verweigerung (Status: denied) von google bekommen.
Ich mach jetzt dicht... du fragst und weißt es eh besser.

Nein, weiß ich nicht.

Aber mir erscheint deine Antwort im ersten Moment nicht logisch, deswegen habe ich nochmal nachgefragt. Ist ja nicht zum ersten Mal passiert in einem Forum, dass der Fall einfach schnell gescannt wurde und dann eine schnelle Antwort gegeben wurde. Vor allem weil es spät ist.

Ich bedanke mich jedenfalls nochmal für deine Antwort. Aber ich kann mir einfach irgendwie nicht vorstellen, dass das Problem beheben soll. Wenn dem so sein sollte, dann muss ich aber wohl damit leben.

Gute Nacht.

naja... robots.txt bewahrt eine URL nicht unbedingt vor der Anzeige in den serps... gibt genug beispiele von webseiten die trotz komplettsperrung durch robots.txt sogar top platziert sind...

404 oder 410 zwingend notwendig!

Das stimmt nicht!
Gerade wenn Du über die robots.txt auschliesst/löscht benötigst Du keinen 404/410.
Tausendmal gemacht!

Hierzu auch mal Googles Anweisungen lesen:

Führen Sie einen der folgenden Schritte aus, um Inhalte aus dem Google-Index zu entfernen:

Stellen Sie sicher, dass beim Aufrufen der Seite der HTTP-Statuscode 404 oder 410 zurückgegeben wird. [?]
Seite mithilfe einer robots.txt-Datei blockieren [?]
Seite mithilfe eines "noindex"-Meta-Tags blockieren [?]

Gruss

holch hat geschrieben:Nein, weiß ich nicht.

Aber mir erscheint deine Antwort im ersten Moment nicht logisch, deswegen habe ich nochmal nachgefragt. Ist ja nicht zum ersten Mal passiert in einem Forum, dass der Fall einfach schnell gescannt wurde und dann eine schnelle Antwort gegeben wurde. Vor allem weil es spät ist.

Ich bedanke mich jedenfalls nochmal für deine Antwort. Aber ich kann mir einfach irgendwie nicht vorstellen, dass das Problem beheben soll. Wenn dem so sein sollte, dann muss ich aber wohl damit leben.

Gute Nacht.

per robots.txt ausschließen bedeutet nur: Du bot durchsuch das nicht!

aber wenn Blogger X Dein Feed verlinkt, dann ist es in den Serps

lg

OK, also offensichtlich ist die Aussage, dass das nur per 404/410 geht nicht richtig. Hab' ich mir ja gedacht, denn dann wäre alles was Google so in den Webmaster Tools schreibt ziemlich sinnlos (siehe oben).

Dass die Seiten/Ordner nicht ganz aus den SERPs verschwinden habe ich auch bereits festgestellt. Aber immerhin sieht es so aus, als wären sie nicht indiziert, sprich es wurden keine Inhalte durchsucht. Also sollten sie in richtigen Serps (also nicht mit der Site: Abfrage) auch keine Rolle spielen.

Das mit der Verlinkung durch den Blogger verstehe ich irgendwie nicht. Heißt das egal was ich in die Robots.txt schreibe, wenn eine Person auf den Feed verlinkt, dann wird auch der Ordner "Feed" komplett indiziert, d.h. er könnte meine eigentlichen Seiten hinten anstehen lasse (vorausgesetzt der Feed wird oft genug verlinkt)?

Zum Problem an sich:
Ich bin gestern die Robots.txt nochmal ganz genau durchgegangen und ich hatte die Slashes vor den Ordnern und Dateien vergessen. Vielleicht liegt es daran. Ich hab' jetzt einfach nochmal einen Request gestellt und dann sehen wir mal was passiert.

Danke an alle die bisher versucht haben zu helfen.

holch hat geschrieben:OK, also offensichtlich ist die Aussage, dass das nur per 404/410 geht nicht richtig. Hab' ich mir ja gedacht, denn dann wäre alles was Google so in den Webmaster Tools schreibt ziemlich sinnlos (siehe oben).

Konzentriert lesen und den Sinn zu verstehen scheint offenbar sehr schwer zu sein.

@einfach
Danke, du verstehst den feinen Unterschied.

@greenhorn: ja, ich bin ein bißchen dumm. Damit muss ich leider seit meiner Geburt leben. Ich

@all: ich habe jetzt die Änderung in der robots.txt vorgenommen, einen neuen URL removal Antrag gestellt (heute früh so gegen 01:00 Uhr) und jetzt (so in der letzten halben Stunde) wurde in den Webmaster Tools angezeigt, dass es durchgegangen ist. Die URL https://www.rothemund.org/feed/ ist komplett aus dem Index (es wird nichts mehr angezeigt bei site:rothemund.org.

Das ganze über robots.txt und ohne 404/410.

UPDATE: Also, die URL https://www.rothemund.org/feed scheint wirklich aus dem Index raus zu sein. Jetzt hatte ich natürlich ein weiteres Problem, und zwar die Feeds zu jedem Artikel (Kommentare).

Jetzt könnte ich natürlich mit */feed/ alles was nach Feed aussieht aus der Robots.txt ausschließen. Da die Robots.txt ja aber offensichtlich nur vor dem Durchsuchen, nicht aber vor dem Auftauchen in den SERPs schützt (danke an Newcomer, der mir das mehr als "deutlich" klar zu machen versucht hat), habe ich ein bißchen weitergesucht und es gibt wohl für Wordpress ein Plugin, das ein NOINDEX in die Feeds einfügt.

Angeblich soll Yahoo offiziell bestätigen, dass das funktioniert. Ich probiere das jetzt einfach mal aus. Vielleicht interessiert sich ja jemand für das Plugin. Wenn das funktioniert, erspart mir das einiges an Arbeit.

Allerdings fällt mir dazu ein, dass ich eigentlich dann den Hauptfeed aus der Robots.txt wieder rausnehmen muss. Sonst weiss Google ja nicht, dass die nicht in den Index darf. Er darf die Datei ja nicht lesen.