forschungsportal.net

[bull]

130.75.2.11 - - [16/Jul/2004:06:37:39 +0200] "GET / HTTP/1.0" 200 2640 - "-" "Mozilla/4.0 (compatible; MSIE 6.0; forschungsportal.net; dhennig@rrzn.uni-hannover.de)" "-"

-----

Habe dem Herren mal geschrieben und gefragt, warum sich sein Spiderlein nicht die Mühe macht, robots.txt zu holen. Irgendwie scheinen manche Universitäten und namentlich die deutschen zu glauben, daß, wenn sie sich als solche zu erkenn, alle Webmaster bereits Feuer und Flamme für Ihre programmiertechnischen Ergüsse sind und alles durchgehen lassen. Das Ding ist erstmal unter Beobachtung.

[viggen]

hallo bull,

und antwort bekommen?

mfg
viggen

[bull]

Schon. Finde die e-mail aber grade nicht.

[bull]

War auf meinem Schrottlaptop.

------

Sehr geehrter Herr ...,

Mir ist der RFC zum Thema Robot-Exclusion durchaus bekannt.
Unser Robot setzt die dort enthaltenen Vorschläge um, die robot.txt wird vor der entsprechenden Seite angefragt. Daher war ich von Ihrer E-Mail sehr überrascht.
Es kann natürlich immer mal Fehler geben.
Können Sie mir die Details nennen? Auf welche URLs wurde zugegriffen ohne, dass die robots.txt ausgewertet wurde?

(...)

> 130.75.2.11 - - [16/Jul/2004:06:37:39 +0200] "GET / HTTP/1.0" 200 2640 - "-" "Mozilla/4.0 (compatible; MSIE 6.0; forschungsportal.net; dhennig@rrzn.uni-hannover.de)" "-"
>
> -----
>
> Sehr geehrter Herr ...,
>
> schön, daß Sie selbst einen Spider programmieren können. Schön auch, daß er sich wenigstens als solcher identifiziert. Weniger schön ist allerdings, daß er sich nicht an eine eventuell vorhandene robots.txt hält, weil er sie gar nicht erst holt. Sie sollten da wirklich noch nachbessern. Manche Seitenbesitzer reagieren da sehr allergisch. Wie Sie wissen ist robots.txt kein definitiver Standard, man sollte sich aber dennoch danach richten.
>
> Mit verbindlicher Begrüßung!
>

Danke für die Erinnerung. Ich werde dem Herren vielleicht mal schreiben. Hatte irgendwie zuviel zu tun in letzter Zeit. Besitze Links von einer Uni-Seite (reine Contentsite). Daher kam er zu mir.

[Elmar2]

das ist ein Spider von metager.de. Ich weiß, daß die eigentlich keinen eigenen Spider haben, aber sie haben dieses Forschungsportal, wo Daten von Forschungsservern, Uniservern durchsuchbar in einer Datenbank aufbereitst sind.

Wundert mich schon, die Jungs vom Rechnzentrum der Uni Hannover sind eigentlich erwiesenermaßen keine Anfänger

Elmar

[bull]

Ich glaube jetzt zu wissen woran es liegt. Von einer Univ.-Seite ist vermittelst 301er eine Umleitung auf eine meiner Seiten gesetzt. Der Bot hat nur "/" geholt, worauf ja umgeleitet wird. Er hält wohl die robots.txt der verlinkenden Seite für zutreffend, welche ja naturgemäß diese meine Seite nicht ausschließt.
Werde das dem Herren mitteilen.