kniff.de

Beitrag von **Peggy** » 12.06.2004, 14:28

Hi,

bin über Google bei euch gelandet

und möchte gerne wissen, wie ich diese im Betreff genannte Suchmaschine in der robots.txt sperren kann.

Folgendes Problem:
ich teste wöchentlich bei Google meine Suchmaschineneinträge und als ich heute mal wieder meinen Vor- und Nachnamen bei Google eintippte, stand meine Seite auf Platz 1 gelistet, aber mit dieser komischen URL:

https://www.kniff.de/cgi-bin/cgiproxy/n ... gy-para.de

Und wenn ich da raufklicke, kommt auch noch Werbung über meinen Header, obwohl ich Payspace habe. Und ärgerlicherweise ist mein "richtiger" Eintrag bei Google, der sonst auf Platz 1 war, verschwunden (habs ab Seite 20 aufgegeben).

Also ich finde das wirklich eine Schweinerei; die verdienen da Geld mit meiner Seite und der Besucher hat auch noch hässliche Werbung oben drüber.

Der Robot heisst: rs04.craft-ag.de
Wie schreibe ich das in die robots.txt, dass alle Bots von craft-ag gesperrt werden? Und was kann ich tun, dass dieser o.g. Suchmaschineneintrag bei Google sofort wieder verwindet und stattdessen wieder meine richtige URL angezeigt wird?

von **Anzeige von ABAKUS** »

Beitrag von **bugscout** » 12.06.2004, 20:22

moin moin,

im moment geht der link nicht mehr.

kann sein, dass sie vergessen haben, das cgi-bin verzeichnis
für spider zu sperren.

ansonsten ists eher ein juristisches als ein programmier problem.

grüsse

Beitrag von **Peggy** » 13.06.2004, 00:42

Hi,

ja ich habe den Host gesperrt. Meine komplette Homepage ist auch wie hier komplett aus dem Forensystem phpBB aufgebaut und im Admin-Menü gibt es eine Option, unerwünschte Hosts zu bannen - das habe ich getan, nur komisch dass jetzt alles weiss ist, vorher kam wenigstens eine Meldung, dass der Host gesperrt ist.

Tja, ich werde mich dann zuerst mal direkt an Google wenden und wenn das nichts hilft, direkt bei kniff.

Was mit dem cig-bin-Verzeichnis gemeint ist, weiss ich leider nicht. Ja, bei mir ist ein derartiges Verzeichnis auf meinem Webspace angelegt. Wie kann ich es denn für Spider sperren? Soll ich bei CHMOD auf 777 stellen?

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 13.06.2004, 05:20

'morgen,
kniff.de sitzt in Amerika und liefert mir momentan eine leere Seite. rs04.craft-ag.de gibts nicht (mehr), die IP-Adresse hast Du nicht? Alternativ in der Hoffnung , daß der Spider aus dem selben IP-Block kam wie kniff in Deine .htaccess schreiben

RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^207\.44\.(12[8-9]|1[3-9][0-9]|2[0-4][0-9]|25[0-5])\.
RewriteRule .* - [F]

Nachdem das Kind aber schon in den Brunnen gefallen ist empfiehlt es sich, die letzte Zeile auszutauschen gegen
RewriteRule ^.*$ leer.htm [L]
wobei leer.htm eine leere HTML-Seite ist, welche im Stammverzeichnis unterzubringen ist.

Beitrag von **Peggy** » 13.06.2004, 12:27

bull hat geschrieben:'morgen,
kniff.de sitzt in Amerika und liefert mir momentan eine leere Seite.

Oh, ja tatsächlich... wenn man bei kniff.de irgendwas anklickt, passiert nichts, daher die weisse Seite, wenn man den Link klickt.

rs04.craft-ag.de gibts nicht (mehr), die IP-Adresse hast Du nicht?

Das war 207.44.162.2

Alternativ in der Hoffnung , daß der Spider aus dem selben IP-Block kam wie kniff in Deine .htaccess schreiben

RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^207\.44\.(12[8-9]|1[3-9][0-9]|2[0-4][0-9]|25[0-5])\.
RewriteRule .* - [F]

Nachdem das Kind aber schon in den Brunnen gefallen ist empfiehlt es sich, die letzte Zeile auszutauschen gegen
RewriteRule ^.*$ leer.htm [L]
wobei leer.htm eine leere HTML-Seite ist, welche im Stammverzeichnis unterzubringen ist.

Aha, also werde ich erstmal eine .htaccess erstellen. Die packe ich in meine Domain-Hauptverzeichnis oder in den Forum-Root? Also im Moment ist es so, dass in meinem Domain-Hauptverzeichnis nur eine index.html liegt, in der eine Weiterleitung zur "Forum/intro.php" definiert ist. Ok, nicht sehr professionell, aber ging schnell.

Beitrag von **bugscout** » 13.06.2004, 18:49

moin peggy,

Was mit dem cig-bin-Verzeichnis gemeint ist, weiss ich leider nicht

es geht um deren server, der ist z.z. tot, deshalb
wird jetzt nichts mehr angezeigt.

es gibt nach meiner meinung zwei möglichkeiten.

entweder wars ein programmierfehler bei denen,
weil das was du sehen konntest war ein link in
deren suchergebnissen [Anonymizer], der mit dem
sperren des cgi-bin verzeichnisses auf ihrem server
hätte verhindert werden können.

oder ein ziemlich dreister contentklau, der dazu führte,
dass sie auf einfache art relativ viele seite bekamen.

da wird wohl schon jemand bescheid gesagt haben,
wäre nur sinnig, wenn sie dann auch noch die treffer
bei google löschen würden. so sind sie noch geraume
zeit in den serps.
https://www.google.de/search?q=cache:yb ... eggy&hl=de

grüsse

Beitrag von **Peggy** » 13.06.2004, 19:09

Hi,

also ich glaube, dass eher ersteres der Fall ist, bestimmt auch beabsichtigt, um mehr Besucher zu haben, die von Google abgeworben werden sollen.

Jo, und bei denen war gestern nur der Server down, deshalb war die Seite weiss. Öhm ... huch, jetzt wohl schon wieder ...

Ich hatte gestern bei denen mal (als die Seite noch ging) einen Suchbegriff eingetragen und die Tefferliste sah echt genauso aus wie bei Google, nur statt blauer Linkfarbe rote (so wie hier).

Ok, ich danke euch erstmal für die Beiträge. Ich bin gerade dabei eine robots.txt zu erstellen. Ich habe heute mal eine Mail an das Google-Team gesendet - vielleicht nimmt sich ja einer dort die Zeit und kuckt sich das an. Ich werde dann posten, wenn ich Antwort bekommen habe.

Auf Contentklau würde nur hinweisen, dass mein normaler Eintrag bei Google (mit über 30 Unterseiten) verschwunden ist (war vorher auf Platz 1), obwohl der Googlebot mehrmals täglich bei mir vorbeischaut.

Viele Grüsse
peggy

Beitrag von **bull** » 13.06.2004, 21:06

Das war 207.44.162.2

Na also, dann haben wir ihn ja am Sack. Vergiß robots.txt, bringt hier nichts. Schlage stattdessen die von mir unterm obigen gesandten Posting zweite Variante anzuwenden und zu hoffen daß der Bot wieder kommt [!] - in der Hoffnung, daß die bei ihm gespeicherten Daten auf diese Weise durch nichts und wieder nichts überschrieben werden. 403 ist mir da zu unsicher, da er vielleicht begreift daß man ihn nicht mag und daher die Sachen bei sich unverändert gespeichert läßt, aber 200er nach obiger Methode ist sicher und hält die Logs frei von Fehlermeldungen. Verwende das seit Jahr und Tag bei Cyveillance und anderen imbezilen Zeitgenossen.

Beitrag von **Peggy** » 13.06.2004, 21:13

Aha, ok, also ich erstelle jetzt eine .htaccess mit

RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^207.44.162.2
RewriteRule ^.*$ leer.htm [L]

Ist das richtig so?

Beitrag von **bull** » 14.06.2004, 05:49

nein,
RewriteCond %{REMOTE_ADDR} ^207\.44\.162\.2

und eine Datei namens leer.htm, welche keinen Inhalt besitzt ins Stammverzeichnis.

Beitrag von **bugscout** » 14.06.2004, 07:11

moin moin,

man könnte noch einen link einbauen (https://www.peggy-para.de).

dann liefert die seite gleich noch einen backlink

grüsse

Beitrag von **Peggy** » 14.06.2004, 16:20

So, ich habe des mit dieser .htaccess-Datei gemacht.

Wenn man nun über kniff.de auf meine Seite kommt,
https://www.kniff.de/cgi-bin/cgiproxy/n ... gy-para.de
wird Fehler 500 angezeigt, ist das richtig so?

Jo, ansonsten bin ich (erstmal) zufrieden.

Beitrag von **bull** » 14.06.2004, 17:08

Absolut nicht. Läuft deine Seite überhaupt noch> ??
500 meint internal server error, das darf überhaupt nicht kommen, dann ist ein fehler in deiner htaccess. Hast Du mod_rewrite auf deinem Speicheranbieter?

Beitrag von **Peggy** » 14.06.2004, 17:12

Ja, die Seite läuft prima. Hmm, in meiner Doku zum Webspace steht nichts von mod_rewrite. Kann ich das irgendwie testen?

meine htaccess sieht so aus:

Code: Alles auswählen

DirectoryIndex index.html intro.php portal.php index.php index.htm 

RewriteEngine On
RewriteCond %&#123;REMOTE_ADDR&#125; ^207\.44\.162\.2 
RewriteRule ^.*$ leer.htm &#91;L&#93;

Beitrag von **bull** » 14.06.2004, 18:35

Sollte dann eigentlich OK sein. Mach doch mal nen Test mit Deiner eigenen IP- oder der von der HU oder so.