Kennt Googlebot /* ??

[eventer]

Nehmen wir an, ich habe die folgende Url (....welche natürlich komplett frei erfunden ist ) und möchte nun für den Googlebot alles sperren, was TINFO.DLL in der URL hat. Versteht Google den Befehl:

Disallow /TINFO.DLL/* ????

Ist ja kein Ordner den ich sperre....


/cgi-bin/TINFO.DLL?id=EVE945651166520938K&fun=TSearch&doc=funktion%2Ffun_suc&key=

[haha]

alles sperren, was TINFO.DLL in der URL hat. Versteht Google den Befehl:

Disallow /TINFO.DLL/* ????

Damit sperrst Du bei Google alles, was mit /TINFO.DLL/ beginnt, bei anderen Suchmaschinen alles, was mit /TINFO.DLL/* beginnt. Schau doch bitte mal in die robots.txt-Anleitung, das Prinzip ist wirklich nicht schwer zu verstehen, es ist ein einfacher Textvergleich.

Auf

/cgi-bin/TINFO.DLL?id=EVE945651166520938K&fun=TSearch&doc=funktion%2Ffun_suc&key=

wirkt das logischerweise nicht, weil, weil's mit /cgi-bin/ anfängt (das alleine ist schon ein Ausschlusskriterium) und zudem hinter TINFO.DLL ein Fragezeichen steht und kein Schrägstrich.

Für diese URLs reicht Disallow /cgi-bin/TINFO.DLL . Googles Mustererkennung ist da völlig überflüssig.

[eventer]

Also nochmal für Doofe:

nach den Googlerichtlinien:

User-agent: *
Disallow: /*Tinfo.dll*

Es würde aber auch gehen:

User-agent: *
Disallow: /cgi-bin/TINFO.DLL* ????


Hintergrund:

unter /cgi-bin/tinfo.dll*weitere parameter* sollen die ganzen ID´s der Direktpartner laufen und unter

/cgi-bin/keyword.html*weitere parameter* unsere optimierten URLs, dadurch kein DC, da die Unterseiten dann nur noch über unsere Adresse zu erreichen sind.

[SloMo]

> Disallow: /cgi-bin/TINFO.DLL*

Das versteht nur Google. Mach doch folgendes:

User-agent: *
Disallow: /cgi-bin/TINFO.DLL

oder

User-agent: *
Disallow: /cgi-bin/TINFO.DLL?

Das verstehen alle. Die erste Variante schließt alles aus, auch die TINFO.DLL ohne Parameter. Die zweite Variante schließt die TINFO.DLL nur aus, wenn auch Parameter übergeben werden.

[eventer]

Ok, Ok, erst einmal vielen Dank, eine Frage hätt ich dann doch noch:

Da wir nicht nur /cgi-bin/tinfo.dll benutzen, was ich sperren möchte, sondern auch Tware.dll und andere.... (enden alle mit .dll)

Kann ich auch schreiben:

User-agent: *
Disallow: /cgi-bin/*.DLL

damit müsste er mir doch alles sperren, was mit /cgi-bin/*.dll anfängt, oder?

[haha]

Kann ich auch schreiben:

User-agent: *
Disallow: /cgi-bin/*.DLL

damit müsste er mir doch alles sperren, was mit /cgi-bin/*.dll anfängt

Ja, das trifft bei Google auf alles zu, was mit /cgi-bin/ beginnt und irgendwo zwischendrin .dll hat. Da das aber nur bei Google so ist, solltest Du tunlichst

User-agent: GoogleBot
Disallow: /cgi-bin/*.DLL

schreiben. Dies löst allerdings trotzdem nicht das Problem, dass andere Suchmaschinen weiter fröhlich eure DLLs abgrasen werden. Deshalb: Vergiss die Platzhalter, führe alle DLLs einzeln auf.

Ich weiß nicht, wie viele es sind, es ist natürlich auch etwas aufwändiger, aber vermutlich wärest Du damit schon längst fertig, hättest Du nicht so viel Zeit mit dem Versuch verschwendet, etwas Zeit zu sparen ;)