Seite 1 von 1
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 21.04.2005, 15:33
von 1azrael
Moin moin,
ich suche jetzt schon ne ganze weile, konnte aber bisher noch zu keinem anständigen ergebnis kommen.
jetzt mein apell mal an eure grauen zellen.
Wer hat den robots exclusion standard erfunden/festgelegt/zusammengestellt?
Das was ich gefunden hab ist von herrn martijn koster aber der inhalt ist schon was älter. und ich glaub nicht das der den robots exclusion standard festgelegt hat oder ist er das doch gewesen?
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 08:34
von 1azrael
weiss das echt keiner von euch?????
oder ist die antwort mal wieder so offensichtlich dass ich den wald vor lauter bäumen nicht sehe?
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 10:35
von Maschenka
https://www.robotstxt.org/wc/norobots.html
This document represents a consensus on 30 June 1994 on the robots mailing list (
robots-request@nexor.co.uk) [Note the Robots mailing list has relocated to WebCrawler. See the Robots pages at WebCrawler for details], between the majority of robot authors and other people with an interest in robots. It has also been open for discussion on the Technical World Wide Web mailing list (
www-talk@info.cern.ch). This document is based on a previous working draft under the same title.
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 10:57
von 1azrael
na da sag ich doch erstmal herzlichen dank.
between the majority of robot authors and other people with an interest in robots.
sind also Leute die Suchrobots programmiert haben, wie die Programmierer vom googlebot usw. ?
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 11:53
von Maschenka
Damals gab es Google noch gar nicht, soweit ich weiß. Aber ansonsten prinzipiell ja.
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 12:20
von larsneo
Das was ich gefunden hab ist von herrn martijn koster aber der inhalt ist schon was älter. und ich glaub nicht das der den robots exclusion standard festgelegt hat oder ist er das doch gewesen?
doch - er war's...
iirc hat er das in erster linie für seine (meta-informations) suchmaschine 'aliweb' (1994) geschrieben (obacht: aliweb.com ist nicht von ihm)
Wer hat eigenlich den robots exclusion standard festgelegt??
Verfasst: 25.04.2005, 12:25
von 1azrael
na supi, vielen dank euch. das hilft mir bei mienem referat weiter.
