ABAKUS

Verfasst: **15.03.2004, 18:54**

hi,

ich betreibe das grußkarten-portal dubistmeinfreund.de - sobald ein surfer eine grußkarte verschickt hat, wird dieser eine eindeutige id zugeordnet und ab in die datenbank mit den daten. der empfänger der karte bekommt eine mail mit einem link, der wie folgt aufgebaut ist:

http: // www . dubistmeinfreund . de/?k=32-STELLIGE_ID

kurz: der link mit der id, welcher zur persönlichen karte linkt ist NUR in dieser mail enthalten. jetzt schaue ich gerade meine logfiles durch und siehe da: google spidert lässig diverse id-urls, also grußkarten-urls. wie kann so etwas sein? was kann ich dagegen machen?!? robots.txt geht nicht, weil alle seiten über die index.php mit entsprechenden parametern aufgerufen werden.

vielen dank schonmal und gruß,
blinks

Verfasst: **15.03.2004, 19:13**

ist doch ganz einfach: irgendjemand hat grußkarten-urls zb in foren gepostet und schon verfolgt google die links.
gibt verschiedene lösungen. am einfachsten wärs wohl, du lässt dir was mit robots.txt einfallen. domain.de/karte.php?k=... - das kannste ja sperren lassen.

Verfasst: **15.03.2004, 19:22**

jo, das dachte ich zunächst auch. aber: es wurde eine karte gespidert, welche ich mir selber zu testzwecken geschrieben habe, und zwar vor ca 60 minuten. selbstverständlich habe ich die nirgends verlinkt

und wie kann google so schnell an die ID kommen? das muss die google-toolbar sein denke ich... aber das ging flott. und werden überhaupt urls gespidert, welche google per toolbar übermittelt?!?

'domain.de/karte.php?k=... - das kannste ja sperren lassen.'

wie genau? für die id müsste ich ja mit wildcards arbeiten oder gehts einfach so:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; ./index.php?k=*

gruß,
blinks

Verfasst: **15.03.2004, 19:32**

ja dann wirds wohl von der toolbar kommen. dass das so schnell geht, habe ich allerdings auch noch nie beobachtet.

User-agent: *
Disallow: ./index.php?k=

das sollte schon gehen, sonst aber auch au jeden fall:

Disallow: ./karte.php

Verfasst: **15.03.2004, 19:37**

ich probiere es mal so, danke. habe eben zusätzlcih schnell folgenden code eingebaut, und würde gerne wissen, ob das evtl. als cloaking abgestraft wird:

Code: Alles auswählen

$pattern = array&#40;"/googlebot.com/i", "/almaden.ibm.com/i"&#41;;
for &#40;$stop=0; $stop<count&#40;$pattern&#41;; $stop++&#41; &#123;
  if &#40;preg_match&#40;$pattern&#91;$stop&#93;, gethostbyaddr&#40;$GLOBALS&#91;REMOTE_ADDR&#93;&#41;&#41;&#41; &#123; header&#40;"Location&#58; http&#58;//www.dubistmeinfreund.de"&#41;; &#125;
&#125;

kann mir das einer sagen?

danke und gruß,
blinks

Verfasst: **15.03.2004, 19:40**

also ich würds so nicht machen. wenn ich das richtig verstehe, sperrst du die bots damit ja auch von allen anderen unterseiten aus. mach das mal lieber mit robots.txt, dazu ist die da.

Verfasst: **15.03.2004, 19:45**

nene, die bots kommen schon noch auf alle anderen seiten. die bedingung oben greift nur, wenn ein gültiger wert k=KARTEN_ID übergeben wurde. ist es unter diesem aspekt akzeptabel oder gefährlich wegen eventuellem cloaking-verdachtes seitens der sumas?

thx,
blinks

Verfasst: **16.03.2004, 08:19**

Benutzt du vielleicht Opera und der Mediabot war da?

Verfasst: **16.03.2004, 10:13**

hi,

nein, kein opera... und das war eindeutig dr. goo, der da geschnüffelt hat:
1079012322|64.68.86.149|crawler4.googlebot.com|Bookmark/TypeIn/PopUp -> /?k=6d076126d[...UNDSOWEITER...]4c1ef

gruß,
blinks

Verfasst: **16.03.2004, 15:01**

hallo,
wenn die erweiterten Funktionen in der Google-Toolbar aktiviert sind, dann kommt der Googlebot zu jeder URL die in der Adresszeile eingegeben wurde.

Ich habe ein Script getestet, welches mir bei fehlerhaften Seitenaufrufen eine Email schickt. Nachdem das Script funktioniert hat, hat es 4 (in Worten vier) Minuten gedauert und ich habe die erste Email gehabt mit meiner falsch eingegebenen seite "asdf.htm" und der Aufrufer war: "Googlebot"!

Also wenn jemand die Toolbar hat, und die Seite aufruft, dann "kennt" Google auch die Seite.

Viele Grüße
Kai

Verfasst: **16.03.2004, 17:07**

The tips about the robots.txt are fine...

But think also about a robots....noindex, nofollow in the cardfile itself..
this way even if they are spidered they are never indexed itself.

regards,
OPtimizer

ABAKUS

wie kann ads sein?!?

wie kann ads sein?!?