Wer hat eigenlich den robots exclusion standard festgelegt??

[1azrael]

Moin moin,
ich suche jetzt schon ne ganze weile, konnte aber bisher noch zu keinem anständigen ergebnis kommen.
jetzt mein apell mal an eure grauen zellen.
Wer hat den robots exclusion standard erfunden/festgelegt/zusammengestellt?

Das was ich gefunden hab ist von herrn martijn koster aber der inhalt ist schon was älter. und ich glaub nicht das der den robots exclusion standard festgelegt hat oder ist er das doch gewesen?

[1azrael]

weiss das echt keiner von euch?????
oder ist die antwort mal wieder so offensichtlich dass ich den wald vor lauter bäumen nicht sehe?

[Maschenka]

https://www.robotstxt.org/wc/norobots.html

This document represents a consensus on 30 June 1994 on the robots mailing list (robots-request@nexor.co.uk) [Note the Robots mailing list has relocated to WebCrawler. See the Robots pages at WebCrawler for details], between the majority of robot authors and other people with an interest in robots. It has also been open for discussion on the Technical World Wide Web mailing list (www-talk@info.cern.ch). This document is based on a previous working draft under the same title.

[1azrael]

na da sag ich doch erstmal herzlichen dank.

between the majority of robot authors and other people with an interest in robots.

sind also Leute die Suchrobots programmiert haben, wie die Programmierer vom googlebot usw. ?

[Maschenka]

Damals gab es Google noch gar nicht, soweit ich weiß. Aber ansonsten prinzipiell ja.

[larsneo]

Das was ich gefunden hab ist von herrn martijn koster aber der inhalt ist schon was älter. und ich glaub nicht das der den robots exclusion standard festgelegt hat oder ist er das doch gewesen?

doch - er war's...
iirc hat er das in erster linie für seine (meta-informations) suchmaschine 'aliweb' (1994) geschrieben (obacht: aliweb.com ist nicht von ihm)

[1azrael]

na supi, vielen dank euch. das hilft mir bei mienem referat weiter.