URL existierte nie -> lässt sich nicht entfernen

[GreenHorn]

aber versuch das mal einem bot beizubringen.

Ich versuche dem Bot zwei Dinge zu verklickern (die sind gar nicht mehr so dumm wie man glauben möchte):
1. Inkorrekte Verlinkung eines existierenden oder verschobenen Dokumentes: 301
(Da war ein Drottel am Werk.)
2. Vollkommen blödsinniger Verweis: 404
(Das gehört mir nicht.)

[myself]

Das deutet aber eher auf eine fehlerhafte Funktion deinerseitig hin, die sich immer weiter aufschaukelt.

Ja, den Eindruck hab ich auch. Allerdings kommt seit dem 4.10. nichts mehr dazu.
Dieser Bereich, den big G da anmeckert war noch nie öffentlich (da ich noch dran arbeite). D.h. keine Verlinkung nach aussen, auch keine Einträge in der Sitemap. Und gibt auch eine 404 aus.
In der robots.txt mit disallow: versehen. Und ebenfalls mit no index, no follow
Trotzdem fand ich das im Index.
Ich hab ehrlich gesagt keinen Plan, was ich da falsch gemacht hab

[SeriousBadMan]

hallo und danke bisher

ich bekomm immer mehr nicht gefundene dateien in dem ordner domain.com/e der nie existierte. daher wollt ich mal ne error page einrichten. kP ob das was bringt, aber ich hab die tipps hier so verstanden, dass ich das mal machen sollte, obwohl eig. eh alles ok ist da ja ein 404 bei mir bereits ausgegeben wird.

problem: die page funktioniert i-wie nicht.

könnt ihr mal in meine .htaccess schauen, worans liegt?
(es ist egal ob ich das mit errordocument vor oder hinter rewriteengine on schreibe, es geht so oder so nicht)

Code: Alles auswählen

RewriteEngine on

ErrorDocument 404 http://www.hiphop-sms.com/fukking-error.php

RewriteCond %{HTTP_HOST} =hiphop-sms.com
RewriteRule (.*) http://www.hiphop-sms.com/$1 [L,R=301] 

Redirect permanent /paid-sms.html http://www.hiphop-sms.com/rap-rnb-geschichte.html
Redirect permanent /rnb-index.html http://www.hiphop-sms.com/rnb/index.html

[SeriousBadMan]

keiner erkennt den fehler?

[Mork vom Ork]

Dieser Bereich, den big G da anmeckert war noch nie öffentlich (da ich noch dran arbeite). D.h. keine Verlinkung nach aussen, auch keine Einträge in der Sitemap. Und gibt auch eine 404 aus.
In der robots.txt mit disallow: versehen.

Vielleicht ist irgendein Harvester vorbeigestolpert und Google seinerseits ist in dessen Häuflein getreten. Ein Disallow-Eintrag in der robots.txt ist für solche Leute ja eher wie das Schild "Hier Geldschrank" für Einbrecher ;) Ich benutze für Basteleien grundsätzlich lieber einen (HTTP-) passwortgeschützen Bereich - kommt keiner rein und stört die sonstige Funktionalität nicht.

[Mork vom Ork]

ich bekomm immer mehr nicht gefundene dateien in dem ordner domain.com/e der nie existierte. daher wollt ich mal ne error page einrichten. kP ob das was bringt

Bringt nichts, ist nur Kosmetik für menschliche Besucher. Eine Suchmaschine orientiert sich an dem Fehlercode - und der kommt bei dir ja wie er soll.

problem: die page funktioniert i-wie nicht.

Was heißt irgendwie? Schau in das Fehlerprotokoll deines Servers, da steht die genaue Ursache drin (falls du nicht weißt, wo es versteckt ist, frage deinen Hoster).

ErrorDocument 404 https://www.hiphop-sms.com/fukking-error.php

Da gibt es zwar keinen Grund, dass der Server einen Schluckauf bekommen würde, aber mit diesem Aufbau verhinderst du, dass der Fehler 404 ausgegeben wird.
Per HTTP kann immer nur ein Status zurückgegeben werden. Wenn du die Fehlerseite als komplette URL angibst, muss der Server eine Weiterleitung (301 oder 302) melden, der eigentliche Fehler (404) geht bei deiner Konstruktion also unter.

Wenn überhaupt, dann so:

ErrorDocument 404 /fukking-error.php

Schau nochmal in die Apache-Anleitung, dort ist natürlich ErrorDocument selbst beschrieben (auf Deutsch) und es gibt auch eine Anleitung für eigene Fehlerseiten (auf Englisch).

[GreenHorn]

ErrorDocument 404 https://www.hiphop-sms.com/fukking-error.php

Mußt auch mal ein wenig genauer lesen. Macht keinen Spaß, wenn man spürt hier umsonst zu posten.

(Die Fehlerseite sollte im jeweiligen Verzeichnisordner liegen und per htaccess definiert sein, sonst gibts wieder nen 200er -
also grundsätzlich nur ErrorDocument 404 /error404.php und nicht mit kompletten URL-Pfad)

Extra schon rot hervorgehoben und dann muß es dir Mork nochmal vorkauen.

[myself]

Vielleicht ist irgendein Harvester vorbeigestolpert und Google seinerseits ist in dessen Häuflein getreten. Ein Disallow-Eintrag in der robots.txt ist für solche Leute ja eher wie das Schild "Hier Geldschrank" für Einbrecher Ich benutze für Basteleien grundsätzlich lieber einen (HTTP-) passwortgeschützen Bereich - kommt keiner rein und stört die sonstige Funktionalität nicht.

Das kann natürlich gut sein.
Wobei auch Google sich nicht wirklich um die robots.txt schert.
Ich habs Impressum dort ebenfalls eingetragen und es prangt dick und fett im Index
Ich kam drauf, weil in meinen Stats unter Suchanfragen jemand nach meiner kompletten Adresse gesucht hat und fündig wurde
Find ich schon krass.
Das mit dem passwortgeschützten Bereich ist ein guter Tipp - danke schön

[SeriousBadMan]

Macht keinen Spaß, wenn man spürt hier umsonst zu posten.

sorry, kann passieren wenn man zwischen tür und angel arbeitet (weil man gleich wieder weg muss).