URLs mit dem Inhalt /itemlist/ mit .htaccess sperren

Beitrag von **herbert00** » 07.08.2010, 13:05

Hallo,

ich habe eine Seite mit Joomal gebaut und nun hat google viele Seiten doppelt indexiert.
Einmal mit einer normalen URL-Struktur:

https://www.example.org/verzeichnis1/ve ... s2/artikel

und dann nochmal mit einer "wirren" URL-Sturktur:

https://www.example.org/verzeichnis1/ve ... 1?start=14

Von dieser wirren URL-Sturuktur gibt es noch die verschiedensten Kombinationen, keine Ahnung wieso Joomla die so generiert.

Ich habe nun alle URLs mit einem enthaltenen /itemlist/ Verzeichnis über die robots.txt gesperrt. Trotzdem sind noch solche URLs im Index bzw. schleichen sich neu in den Index rein.
Nun möchte ich alle URLs die "itemlist" enthalten über die htaccess sperren.
Wie ist hierzu der korrekte .htaccess Befehl?
Kann mir da jemand weiterhelfen?

Danke und viele Grüße
Herbert

von **Anzeige von ABAKUS** »

Beitrag von **e.player** » 07.08.2010, 13:51

Wäre Ich auch interessiert, hab auch das Joomla Problem

Beitrag von **Synonym** » 07.08.2010, 13:54

Nun möchte ich alle URLs die "itemlist" enthalten über die htaccess sperren.
Wie ist hierzu der korrekte .htaccess Befehl?

Wäre Ich auch interessiert, hab auch das Joomla Problem

Sowas?

Code: Alles auswählen

RewriteCond %&#123;REQUEST_URI&#125; /itemlist/
RewriteRule ^ - &#91;F&#93;

von **Anzeige von ABAKUS** »

Beitrag von **herbert00** » 09.08.2010, 06:13

Synonym hat geschrieben:
Nun möchte ich alle URLs die "itemlist" enthalten über die htaccess sperren.
Wie ist hierzu der korrekte .htaccess Befehl?

Wäre Ich auch interessiert, hab auch das Joomla Problem
Sowas?
Code: Alles auswählen
RewriteCond %&#123;REQUEST_URI&#125; /itemlist/
RewriteRule ^ - &#91;F&#93;

Danke für die Antwort! Was würde denn passieren, wenn man diesen Befehl einbaut und dann eine URL mit dem Inhalt /itemlist/ aufruft? Was bedeutet dies [F]?

Danke und Gruß
Herbert

Beitrag von **Synonym** » 09.08.2010, 08:43

https://httpsd.apache.org/docs/2.2/rewr ... html#flags

Es wird ein Header 403 (forbidden) gesendet.

Beitrag von **herbert00** » 09.08.2010, 15:30

Synonym hat geschrieben:https://httpsd.apache.org/docs/2.2/rewr ... html#flags

Es wird ein Header 403 (forbidden) gesendet.

Super, danke für den Tip. Mit einem 403 müssten die Seiten schnell aus dem Index fliegen, oder?

Gruß
Herbert

Beitrag von **Synonym** » 09.08.2010, 15:39

Na da wird halt der Zugriff verweigert, Du sagtest ja was von Sperren. Ansonsten kannst Du auch das Flag G nehmen, dann wird ein 410 (gone) gesendet.

Beitrag von **herbert00** » 09.08.2010, 15:43

Stimmt, das war von mir unklar ausgedrückt.
Letztendlich ist das Ziel
A) die Seiten aus dem Index zu bekommen
B) die zukünftige Indexierung von Seiten mit /itemlist/ zu vermeiden

Dann werde ich es mal mit [G] versuchen....

Danke und Gruß
Herbert

Beitrag von **herbert00** » 09.02.2011, 22:47

Die entsprechenden Links haben nun alle den Status [410 Gone]. Google hat sie aber nun trotzdem weiter im Index. Wie kann ich die URLs komplett aus dem Index schmeißen? Ich verstehe nicht, wieso sie von Google nicht ausgelistet werden!?!?!

Beitrag von **herbert00** » 10.02.2011, 15:19

vielleicht lags daran, dass ich die URLs mit der robots.txt geblockt hatte?

Beitrag von **Synonym** » 11.02.2011, 08:50

vielleicht lags daran, dass ich die URLs mit der robots.txt geblockt hatte?

Sehr wahrscheinlich sogar. Wenn die da gesperrt sind, dann ruft Google die gar nicht ab. Ruft es die nicht ab, dann bemerkt es das [G] auch nicht

So ein Durcheinander hatte ich auch mal und wartete und wartete und nichts tat sich

Du kannst Du URL doch auch mal in den WMT testen und Dir ansehen was Google da bekommt. Ich denke, Google kommt erst gar nicht so weit und bleibt an der robots.txt hängen.

- In den WMT anmelden
- Diagnose
- Abruf wie durch Googlebot
- URL eintippen und "abrufen"
- warten
- neu aufrufen und Ergebnis ansehen

Kommt dann "Von robots.txt abgelehnt", dann hast Du die Antwort

Beitrag von **herbert00** » 11.02.2011, 20:15

als Status kommt da bei den betreffenden URLs gerade "ausstehend".
Vielleicht liegt es daran, dass ich die Blockierung durch die robots.txt erst gestern aufgehoben hatte und der bot noch nicht vorbeigekommen ist, oder?

Gruß
Herbert

Beitrag von **Synonym** » 12.02.2011, 09:18

Na wenn da "ausstehend" kommt, dann ist das oben mein Punkt "warten". Hab da extra nichts hingeschrieben, weil das immer sehr unterschiedlich ist. Von wenigen Sekunden bis hin zu einer halben Stunde.

Ob der schon die neue robots.txt kennst kannst Du oben beim Crawler-Zugriff (Bereich Website-Konfiguration) ja auch ansehen.