Hi,
für eine robots.txt bräuchte ich die einzelnen User Agents der meines Wissens nach 5 Google Bots. Durch Webrecherche habe ich jetzt 1-2 gefunden, würden mir noch 3 fehlen. Bin mir aber auch unsicher, ob die, die ich fand, noch aktuell sind.
Könnte mir mal jmd. alle 5 aufzählen, bräuchte ich die für eine robots.txt.
Wäre sehr dankbar,
Grüße!
Archiv
