tach!
ich dachte bisher immer, dass man die robots.txt weglassen kann, wenn man sie nicht braucht, denn die suma spidert dann einfach alles ohne einschränkungen.
jetzt hab ich aber gerade was gelesen, dass manche suma eine seite ohne robots.txt die seite evtl. schlechter bewerten. ist da was dran?
Archiv
