Seite 1 von 1
?Ziel= sperren mit Robots.txt oder htaccess
Verfasst: 11.08.2009, 12:50
von fun74
Gibt es eigentlich eine Möglichkeit per Robots.txt oder htaccess
So was zu sperren
Beis.
https://www.Domain.com/?Ziel=https://ww ... la-bla.php
Google hat etliche Seiten so bei mir gespidert und sind so auch im Index drin, kann aber im Script keinen Fehler feststellen, es wird dann praktisch alles auf die Startseite weitergeleitet.
Gibt es irgendeine Möglichkeit alles zu sperren was mit
?Ziel= losgeht?????

Verfasst: 11.08.2009, 12:55
von Ehemalige Nutzer Z
Disallow: /?Ziel=*
oder
Disallow: /*?Ziel=*
je nachdem ob vor dem ? steht (für robots.txt)
oder ein 404 oder 301 für nicht existierende seiten in die htaccess (je nachdem ob die unterseiten angelinkt sind oder nicht..)
Verfasst: 11.08.2009, 12:56
von chris21
Möglichkeit über Robots.txt:
Noch besser: Möglichkeit über mod_rewrite in der .htaccess:
Code: Alles auswählen
RewirteCond %{QUERY_STRING} ^Ziel=(.*)$
RewriteRule ^(.*)$ http://www.example.com/$1? [R=301,L]
Verfasst: 11.08.2009, 13:04
von fun74
Werde ich gleich mal ausprobieren
„Danke“ ob mich so einer abschießen wollte andere Möglichkeit sehe ich gerade nicht. Eine Interne Fehlverlinkung kann ich zu 100% ausschließen.

Verfasst: 11.08.2009, 13:09
von chris21
Sieht für mich nach einem falsch programmierten Linkout-Skript auf einem Webkatalog oder einen anderen Seite aus, auf der Du verlinkt (und damit gelinkt

) bist.
Beispiel:
auf der Seite Webkatalogxyz.tld bist Du verlinkt mit:
www.webkatalogxyz.tld/out.php?Ziel=http ... /blablabla
und dummerweise vergisst das Skript, bei der Weiterleitung den Query-String zu löschen, hängt ihn damit wieder an und schon hast Du den Salat.

Verfasst: 11.08.2009, 13:23
von fun74
Also ich hab es gerade mit der Robots.txt So gesperrt
Disallow: /?Ziel=*
hoffe mal dass die Seiten jetzt aus dem Google Index verschwinden.
Mit
hat es leider nicht gefunkt da ist dann die Ganze Domain Platt mit
Internal Server Error 
Verfasst: 11.08.2009, 13:30
von chris21
Mit
Zitat:
RewirteCond %{QUERY_STRING} ^Ziel=(.*)$
RewriteRule ^(.*)$
https://www.domain.com/$1? [R=301,L]
hat es leider nicht gefunkt da ist dann die Ganze Domain Platt mit Internal Server Error
Sieht verdammt nach einem Tippfehler aus
Ändere da mal Rew
irteCond in Rew
riteCond, dann sollte es gehen

Verfasst: 11.08.2009, 14:06
von fun74
Ja jetzt Funkt es hab es aber ein wenig angepasst so das nicht auf die Startseite verlinkt wird bzw. weitergeleitet wird, sondern jetzt kommt dann die Fehler Meldung ErrorDocument 404 so sollten die Seiten schneller aus dem Google Index verschwinden.
Wer auch mal das Problem hat
Und einfach eine HTML Datei mit dem Text ErrorDocument 404 auf den Server Hochladen.
So sollten dann die Sinnlosen Weiterleitungen im Google Index verschwinden.
Ich sag mal
Dankeee

Verfasst: 11.08.2009, 14:24
von Mork vom Ork
fun74 hat geschrieben:
Und einfach eine HTML-Datei mit dem Text ErrorDocument 404 auf den Server Hochladen.
So sollten dann die Sinnlosen Weiterleitungen im Google Index verschwinden.
Dass mit dem Text ErrorDocument 404 musst du bitte nochmal erklären. Wo soll das hingeschrieben werden? Und was hast du davon, wenn Google dein Fehlerprotokoll mit lauter ungültigen URLs à la error.htmlblafasel vollmüllt?
Verfasst: 11.08.2009, 15:17
von fun74
Weil bei google ca.2000 mal Falsche Urls gespidert wurden bzw. alle urls auf die Startseite weiterleiten, das wehre dann 2000 mal DC.
Deswegen teile ich jetzt google mit den Schrott nicht mehr zu spidern und aus dem Index zu nehmen.
Das Text ErrorDocument 404 hab ich in die error.html geschrieben so sollte google das Schneller aus dem Index löschen wenn ich mich nicht ihre.

Verfasst: 11.08.2009, 15:43
von chris21
Mork meinte was anderes
1. Deine 301 Weiterleitung, so wie Du sie geändert hast, führt beim Aufruf der Seite
www.deinedomain.tld/unterordner/?Ziel=h ... terordner/ auf die Seite
https://www.deinedomain.tld/error.htmlunterordner - da wird dann der Apache nen 404 ausgeben, da die Seite error.htmlunterordner sicher nicht existiert.
Wenn Du einen 404 oder hier noch besser einen 410 produzieren willst, mach es wie folgt:
Code: Alles auswählen
RewriteCond %{QUERY_STRING} ^Ziel=(.*)$
RewriteRule ^(.*)$ - [G]
und definiere gegebenfalls ein
Verfasst: 11.08.2009, 15:53
von Mork vom Ork
chris21 hat geschrieben:und definiere gegebenfalls ein
Dies dann erstens aber bitte in der .htaccess. In irgendeiner Seite hat das genauso viel Wirkung, als wenn man reinschreibt „Ich bin der Bi-Ba-Butzemann.“ - sogar wenn diese Seite error.html heißt.
Und zweitens ist diese Einstellung für Google vollkommen unerheblich. Der Inhalt, der mittels ErrorDocument zur Verfügung gestellt wird, ist einzig, alleine und ausschließlich für menschliche Besucher gedacht.
Verfasst: 11.08.2009, 16:00
von chris21
@Mork: mir musst Du das nicht erklären
Aber der Threadstarter wird die ErrorDocument Direktive wohl hoffentlich kennen, obwohl das:
fun74 hat geschrieben:
Und einfach eine HTML Datei mit dem Text ErrorDocument 404 auf den Server Hochladen.
arge Zweifel aufkommen lassen könnte

Ich vermute da aber einfach eine falsche Beschreibung, obwohl er das richtige meint...
Verfasst: 11.08.2009, 16:19
von fun74
Ja die Lösung ist viel besser hab ich gleich eingebaut

in die error.html
Hab ich jetzt das hier reingeschrieben
<html>
<head>
<title>Error 410</title>
</head>
<body>
<h1>Objekt nicht gefunden!</h1>
<p>
Der angeforderte URL konnte auf dem Server nicht gefunden werden - der Inhalt wurde dauerhaft entfernt.
</p>
<h2>Error 410</h2>
</body>
</html>
Hoffe das passt jetzt so für die Frau Google
In diesem sinne noch mal
Danke 
Verfasst: 11.08.2009, 16:47
von Mork vom Ork
chris21 hat geschrieben:@Mork: mir musst Du das nicht erklären :)
Sollte nur eine Ergänzung sein.