Versteckter Content - Welcher Fehlermeldung für Google?

[monezmo]

Ich habe bei einem Projekt Inhalt der vor Google versteckt werden muss. Das ist bereits per .htaccess und robots.txt geschehen.

Ich frage mich nur welche HTML Fehlermeldung ich Google am besten präsentieren soll wenn ich die Suchmaschine aus dem Verzeichnis aussperre.

Schließlich verlinken viele Links von den öffentlichen Seiten zu den versteckten Artikeln. Ich möchte nicht das Google wegen 404s die öffentliche Seite abstraft.

Kann mir da jemand einen Tipp geben welche Fehlermeldung ich für Suchmaschinenbots per .htaccess ausgeben soll um nicht das Ranking zu gefährden?

[Pompom]

...als nächstes kommt dann:
- Steuer hinterziehen - wie mache ich es richtig ?
- Banküberfall - wie mache ich es richtig ?
- (hier selbst gewünschte Misstätigkeit )eintragen - wie mache ich es richtig ?

Heißer Tipp:
Wenn du es nicht kannst: Lass es !

[monezmo]

Wenn du derartiges mit kriminellen Handlungen auf eine Stufe hebst würde ich mir Gedanken machen ob Suchmaschinen nicht einen zu hohen Stellenwert in deinem Kopf haben...

Die Vergleiche sind einfach nur lächerlich!

[Pompom]

Die Vergleiche sind einfach nur lächerlich!

...ich nenne sie einfach übertrieben.

[guppy]

Pompom wo ist das Problem, er will, wenn ich das richtig verstehe, dass google ein Teil seiner eigenen Seiten nicht spidert ?

@monzemo ich würde per nofollow in eine Verzeichnis verlinken, dass per robots.txt gesperrt ist, dort eine Weiterleitung zu oder iframe von einer anderen domain mit den "geheimen" Inhalten einrichten. Die Seite selber auf noindex setzen.
Klar musst Du Dir aber darüber sein, dass die ganzen Pseudosumas sich nicht an diese Anweisungen halten und derr Inhalt letztlich doch in irgend einem Index auftaucht.

[monezmo]

Danke guppy, du hast mich richtig verstanden

Deine Methode klingt nicht verkehrt, aber wäre es nicht einfacher die Bots serverseitig auszusperren (.htaccess?)

Gruß
Mone

[guppy]

Vom Prinzip her schon, doch Du brauchst dann meines Wissens alle ip`s -auch die in Zukunft verwendet werden.

[monezmo]

Das geht auch per .htaccess über einen User Agent Filter.
So habe ich es jetzt zumindest gelöst.


Deswegen auch meine Frage welche HTTP Error Message am besten ausgegeben werden soll ohne das Google die Seite abstraft.


Gibt ja etliche und ich kenn mich damit nicht aus:

3xx - Umleitungscodes
Wird ein solcher Statuscode gesendet, muss der Client eine weitere Aktion vornehmen, bevor er eine Datei empfangen kann.

300 Multiple Choices
301 Moved Permanently
302 Moved Temporarily
303 See Other
304 Not Modified
305 Use Proxy

4xx - Client-Fehlercodes
400 Bad Request
401 Unauthorized
402 Payment Required
403 Forbidden
404 Not Found
405 Method Not Allowed
406 Not Acceptable
407 Proxy Authentication Required
408 Request Time-Out
409 Conflict
410 Gone
411 Length Required
412 Precondition Failed
413 Request Entity Too Large
414 Request-URL Too Large
415 Unsupported Media Type

[Hirnhamster]

irgendeine 4xx oder 5xx

[dev.]

Mich würde der Code interessieren, wie du einen Ordner disallowest und dann zusätzlich einen Statuscode übermittelst.

Würdest du ihn teilen?

[picxl]

In etwa so sollte dies funktionieren. Jetzt frag mich aber bitte nicht nach einer Liste von UserAgents (Googlesuche "alle useragents"). Die wird sicher ewig lang werden, falls du alle Suchbots ausschließen möchtest und dann ist noch nicht mal geklärt, ob sich ein UserAgent auch ordentlich als solcher meldet. Das Wörtchen "Mozilla" macht sich ins Bots ja immer echt gut...

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Yahoo* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Google* [NC]
RewriteRule .* - [F,L]

Das wäre in diesem Beispiel ein 404-Error. Kannst dort aber praktisch irgendwas aus dem 400er Bereich wählen, in deinem Fall passt vielleicht der 401 ganz gut.

Code: Alles auswählen

RewriteRule .* - [R=401,L]

Besucher oder was auch immer, die nicht in den Conditions stehen, werden nicht von der Rewrite Rule betroffen sein.