PHPSESSID in Google Index

[A.U.]

Hallo!

Bin total frisch hier und habe mich jetzt zwei Stunden durch das Forum gewühlt zum Thema SID im Google Index. Habe dabei zum Beispiel gelernt, dass ich per ...

Code: Alles auswählen

<?php
if&#40;eregi&#40;"googlebot",$_SERVER&#91;'HTTP_USER_AGENT'&#93;&#41;&#41;
&#123;
$wer_ist_das = 'der googleBOT';
&#125;
?>

... eine Art "legales cloaking" machen könnte, wodurch ich den bots/spidern ermögliche, meine Seiten ohne SID zu crawlen.

Was ich mich jetzt frage:

Sollte ich mit diesem Code besser...

1.) ... gleich den Start der Session unterbinden, wenn es sich um einen bot/spider handelt?

2.) ... oder zwar die Session auch in diesem Falle starten, aber nur die Übergabe der SID per URL unterbinden, wenn es sich um einen bot/spider handelt?

Letzteres wäre durchaus möglich, weil alle Links in dem Projekt sehr stringent gehalten sind und die SID mit einer Variablen in den Link eingebaut wird. Diese Variable ist einfach = '' wenn ein cookie gesetzt werden konnte. Gleiches könnte ich eben für die bots machen.

Danke schon mal für Eure Hilfe!

[Ice Man]

von was sprechen wir ?

Forum, Shop oder Webseite

[A.U.]

Es handelt sich um einen Shop.

[wolli]

Das löst man generell mit htaccess
dann ist es egal ob das google oder normale Besucher sind

nette Grüße
wolli

[A.U.]

Und wie löst man das über htaccess? Denn eigentlich ist es ja nicht egal, ob es Google oder ein normaler Besucher ist. Bei Google soll die SID ja niemals übergeben werden. Bei einem normalen Besucher ist dies jedoch erforderlich, wenn er cookies nicht erlaubt. Oder habe ich da einen Denkfehler?

[SISTRIX]

Google ist es reichlich egal, ob du die Session intern erst startest und einfach die SessionID aus den URLs rauslässt oder bei Googlebot-Zugriffen keine Session startest. Das Ergebnis, also das HTML, das der Googlebot sieht, ist in beiden Fällen gleich. Dass dieses Problem sauber mit einer ".htaccess" gelöst werden kann, glaube ich irgendwie nicht.

[A.U.]

Mit dem oben beschriebenen eregi-code kann ich ja nun über die Suche nach "googlebot" im Agent-User klar kommen. Aber wie ist es mit anderen Crawlern? Gibt es irgendwo eine Zusammenstellung der verschiedenen Kürzel von Yahoo, MSN, etc.?

[SISTRIX]

Mittlerweile unterstützen alle großem Suchmaschinen die Erkennung via DNS/rDNS-Auflösung. Ich habe hier mal einen Codeschnippsel gepostet, der sowas machen kann: https://www.sistrix.com/news/662-das-proxy-problem.html

Gruß Johannes

[SloMo]

Der saubere Weg wäre, nur bei eingeloggten Benutzern eine Session zu starten. Aber da der Shop ja jetzt schon in dieser Form funktioniert, ist das wohl etwas zu umständlich?!

Ansonsten würde ich maximal auf folgende Bestandteile im UA testen:
google
msnbot
slurp
teoma
ask jeeves
ia_archiver
abacho

[A.U.]

@ SISTRIX:
Habe den Artikel gelesen und finde ihn sehr interessant. Im Moment steckt die Site noch in den Kinderschuhen. Aber über kurz oder lang wird das mit den Proxys wahrscheinlich auch ein Problem werden, um das ich mich kümmern muss.

Im Moment geht es mir ja vor allem um die SID-Problematik, und da finde ich natürlich den Code-Snippet im Artikel interessant um herauszufinden, ob der Besucher ein robot ist oder ein normaler Nutzer.

@SloMo
Ja, genau. Der Shop funktioniert jetzt wie er ist und umstricken wäre etwas aufwändig und auch gar nicht so sinnvoll. Denn der Shop hat z. B. einen Merkzettel, den man ausdrücklich auch dann nutzen kann, wenn man nicht angemeldet ist. Wenn man sich dann doch anmeldet, wird der "temporäre Merkzettel" in einen "permanenten" übernommen und mit der Kundennummer gespeichert, so dass er beim nächsten Login wieder da ist. Der "temporäre Merkzettel" (ohne Login) geht beim Beenden der Sitzung verloren. Das ist auch ok, aber so lange sollte er eben funktionieren und dafür, unter anderem, brauche ich die Session.

Ich habe mir jetzt folgendes überlegt:

Meine Links sehen eigentlich immer gleich aus. Erst die domain, dann eine anzahl von ordnern, dann "show.html" und wenn eben kein cookie gesetzt werden konnte noch hinten dran "?PHPSESSID=123456". Also z. B. :

mit cookie:
www.domain.com/daimler/benz/autos/show.html

ohne cookie:
www.domain.com/daimler/benz/autos/show. ... SID=123456

Das "?PHPSESSID=123456" ist, wie bereits erwähnt, in einer Variablen hinterlegt, die ohnehin an absolut jeden Link angehängt wird und eben wenn ein cookie gesetzt werden konnte leer ist. Nennen wir die Variable mal $give_sid. Dann hat die also entweder den Inhalt

$give_sid = '';
oder
$give_sid = '?PHPSESSID=123456';

Jetzt mein Lösungsansatz. Vielleicht könnt Ihr mir sagen, ob das so sinnvoll wäre:

1.) Ich starte die Session weiterhin immer.

2.) Ich ermittle (per eregi oder pregmatch), ob es sich um einen BOT handelt.
-> wenn Ja, setze ich die $give_sid = ''; Dann bekommt der BOT die URIs ohne Anhang.

3.) Ich sperre in der robots.txt einfach alle Seiten mit dem Anhang "?PHPSESSID=". Verirrt sich also doch einmal ein BOT an der eregi/pregmatch-Regel vorbei, weil ich ihn z. B. dort nicht aufgeführt habe, oder weil er versucht, einen human_user zu simulieren, so wird er eigentlich komplett geblockt. Denn er erlaubt ja keine cookies und somit sind alle Links mit dem Anhang "?PHPSESSID=" versehen.


Was haltet ihr davon?

[A.U.]

Habe das jetzt mal so gemacht:

Code: Alles auswählen

$bot[1] = 'google';
$bot[2] = 'msnbot';
$bot[3] = 'slurp';
$bot[4] = 'teoma';
$bot[5] = 'ask jeeves';
$bot[6] = 'ia_archiver';
$bot[7] = 'abacho';

foreach ($bot as $bot_nr=>$bot_ua) {
	if (eregi($bot_ua, $_SERVER['HTTP_USER_AGENT'])) {
		$give_sid = '';
	}
}

Sieht noch jemand einen (Tipp-) Fehler, irgendein Problem? Würdet Ihr die Einträge im Array noch verändern/erweitern? Habe mich da jetzt an der Liste von SloMo orientiert. Danke dafür!

Mit der robots.txt habe ich mich mal an dem hier orientiert:

https://www.google.com/support/webmaste ... swer=40367

Das sieht dann so aus:

Code: Alles auswählen

# robots.txt for http://www.xxx.com/
# Zugriff auf alle Dateien erlauben
# Zugriff verboten bei Übergabe von PHPSESSID
User-agent: *
Disallow: /*?PHPSESSID*

Was haltet Ihr davon?

[SloMo]

Sieht erstmal ganz okay aus. Zur Robots.txt: ich würde die Regel auf den Googlebot beschränken, um andere Sumas, die vielleicht kein Patternmatching gestatten, nicht zu verwirren.

Zum PHP-Code, ich glaube strpos ist schneller als eregi... Beispiel:

$lowerUA = strtolower($_SERVER['HTTP_USER_AGENT']);
foreach( $bot as $bot_ua ){
if( strpos( $lowerUA, $bot_ua )!==false ){
$give_sid = '';
}
}

PS: oder alternativ stripos()

[A.U.]

Müsste die robots.txt dann so aussehen?

Code: Alles auswählen

# robots.txt for http://www.xxx.com/

# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:

# Zugriff für Googlebot verboten bei Übergabe von PHPSESSID
User-agent: Googlebot
Disallow: /*?PHPSESSID* 

Das mit strpos schaue ich mir gleich mal an.

[SloMo]

Eigentlich könntest Du ganz auf die robots.txt verzichten... birgt nur neue Risiken. Das Problem is ja schon per Code gelöst.

[rvi]

Angeregt von dem Thema hier habe ich mal meine Methode in mein Blog gestellt. Hoffe sie findet Zustimmung!

=> Session-ID elegant abschneiden