Mit der Robots.txt kann man den Suchmaschinen ja die Anweisung geben welche Ordner nicht gecrawelt und oder Indexiert werden dürfen doch kann man dort auch Seiten des Projektes angeben welche auf jeden Fall gecrawelt werden sollen.
Das mit dem NOINDEX kann man ja auch über die Metas steuern.
Doch bringt es was wenn nun die Links aus einer Sitemap auch als Link in die Robots.txt eingefügt werden, das die auf jeden Fall oder halt deutlich schneller sowie eventuell auch besser gerankt werden, oder wertet Google dieses unter Umständen als Spam?
Gibt es überhaupt sowas wie Robots.txt oder Sitemap Spam für die Suchmachschinen?
Archiv
