Wieso klappt disallow hier nicht?

Beitrag von **Babis** » 01.04.2010, 16:40

Hallo zusammen,

sitze schon eine Weile an diesem Problem, aber komme nicht weiter, wäre für Hilfe sehr dankbar:

Da auf einer meiner Seiten viele youtube-Videos eingebettet sind und es öfters mal vor kommt, dass diese vom Nutzer entfernt werden oder sich aus anderen Gründen nicht mehr abspielen lassen habe ich unter jede Seite mit Videos einen Link gesetzt: "Bitte melden falls Video nicht mehr funktioniert".
Mit einem Klick auf den Link bekomme ich eine Email zugesendet mit dem Titel der Seite auf der sich der Link befindet.

Nun habe ich das Problem das der Googlebot natürlich diesem Link auch folgt und daher bei jedem crawl eine Email gesendet wird. Um dies zu unterbinden habe ich in der robots.txt das Verzeichnis mit der php-Datei die beim Klick auf den Link augerufen wird "disallowed".

Leider folgt Google dem Link immernoch, auch nofollow hat nicht weitergeholfen. Kann mir jemand weiterhelfen?

Danke für Antworten

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Synonym** » 01.04.2010, 16:48

Bis die neue robots.txt ausgelesen und auch beachtet wird können durchaus Tage und Wochen vergehen. Ich habe auch so was in der Art wie Du, wo der Bot immer eine Aktion auslöste. Mach das ganze per Javascript und gut ist. Eventuell auch noch den Referer prüfen, denn Google sendet schon mal keinen.

Beitrag von **heino** » 01.04.2010, 16:50

Kopier dir folgendes in deine .htaccess

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; &#40;Googlebot|msnbot|Slurp&#41; &#91;NC&#93;
RewriteRule !error - &#91;L,F&#93;

von **Anzeige von ABAKUS** »

Beitrag von **Synonym** » 01.04.2010, 16:53

Gehören da dann nicht die Klammer um Googlebot herum weg?
Ok, das Edit geht natürlich so auch. Dann mailt schon mal kein Bot mehr und funktioniert auch 100%

Beitrag von **heino** » 01.04.2010, 16:57

Nö. Hab nochmal editiert und die Bots von Yahoo und Bing mit reingeschrieben. Dann brauchts die Klammer.

Beitrag von **Babis** » 01.04.2010, 16:58

Danke für die Antworten,

ja sowas habe ich mir gedacht, in den Webmaster-Tools wird ja immer aktuelle robots.txt angezeigt und das ist in meinem Fall noch die Alte. Da muss ich wohl einfach abwarten.

@heino

Danke for den Code, hier wird ja aber nur den Googlebot ausgesperrt. Hatte aber auch schon yahoo da. Auf disallow sollten doch alle hören oder nicht? Bing, yahoo, google und co.?

Was genau wird denn in dem Code gemacht? Wird da der Googlebot nicht komplett ausgeschlossen?

Beitrag von **Synonym** » 01.04.2010, 17:00

"Danke for den Code, hier wird ja aber nur den Googlebot ausgesperrt"
Er hat ja schon editiert... Ich war auch zu schnell

Yahoo schreibste dann einfach mit rein und alle anderen großen auch.

Beitrag von **Babis** » 01.04.2010, 17:01

Synonym hat geschrieben:"Danke for den Code, hier wird ja aber nur den Googlebot ausgesperrt"
Er hat ja schon editiert... Ich war auch zu schnell

Hoppla ja, sry

Könnt ich bitte eine kurze Erklärung bekommen was in dem Code gemacht wird?

Beitrag von **Synonym** » 01.04.2010, 17:04

Na er macht das was Du wolltest. Er verhindert dass die dort aufgeführten USER-AGENTS Deiner "sende-mir-eine-Email.php" folgen. Dann ist ruhe im Schacht, kein "Spam"-Belästigung mehr durch sich selber.

Beitrag von **heino** » 01.04.2010, 17:05

Die in Klammern angegeben Bots folgen deinem Link nicht mehr. Für Kollateralschäden übernehme ich keine Haftung.

Beitrag von **Babis** » 01.04.2010, 17:25

Alles klar, das heißt der Code gilt nur für Bots im Bezug auf das Senden von Emails?

Beitrag von **heino** » 01.04.2010, 17:32

Versuch macht kluch.

Beitrag von **Babis** » 01.04.2010, 17:37

Dann versuch ich mal

Danke für die Hilfe!

Beitrag von **huah** » 01.04.2010, 20:18

Babis, Du solltest nicht alles fressen, was man Dir hinschmeisst ...

Einfach die Links nur Usern mit Referer anzuzeigen wäre die billigste Lösung; kenne eigentlich nur den MSN-Bot, der hin und wieder einen Referer vortäuscht ...

Code: Alles auswählen

<?
if &#40;$_SERVER&#91;'HTTP_REFERER'&#93;&#41; &#123;
...
&#125;
?>

Beitrag von **Synonym** » 02.04.2010, 07:56

oh du bist gemein.... aber die Aussage stimmt: "... Du solltest nicht alles fressen, was man Dir hinschmeisst ... "

Mein erster Vorschlag funktioniert aber, den mache ich auch so
https://www.abakus-internet-marketing.d ... tml#696808

Wobei ich da eher daran dachte das per JS zu machen und im JS dann noch den Referer zu prüfen. JS alleine reicht eigentlich aber auch schon.

Entweder den Link direkt per JS anzeigen, oder ein extra JS-Script, das dann per "new img()" das PHP-Script lädt.