in meiner main domain hab ich ne robots.txt, sehe aber das google bestimmste seiten ansteuert die eigendlich gesperrt sind.
habe in der sub auch eine robots.txt file > die google auch ansteuert, nur in dieser habe ich nicht die seiten von der main domain gesperrt.
frage > muss in die sub (da sie verlinkt sind) > auch eine robots.txt file rein > die die seiten von der main domain speert?
gruss
mauri
mh > und google steuert die sub robots nur an > weil sie da ist....
versteh, somit > muss ich einen fehler in der robots.txt file haben > da er ja doch gesperrte ansteuert.
danke dir
grundsätzlich ist die subdomain eine eigenständige domain (bekommt für sich also auch eine robots.txt. (pfad_auf_dem_server/hauptdomain/subdomain/robots.txt)
wenn von ihr aus nur über links (absolute pfade) wie a href=https://www.hauptdomain.tld/unterverzeichnis/datei.html auf die hauptdomain verlinkt wird reicht das aus, wenn in jeder domain nur die eigenen verzeichnisse geschützt werden.
arbeitest du aber mit links (relative pfade) aus der subdomain auf die hauptdomain und umgekehrt wie ../unterverzeichnis/datei.html (z.b. wenn du das gesamte projekt in dreamweaver verwaltest werden die links so erzeugt) kann der robot über die subdomain an der robots.txt der hauptdomain vorbeispidern.
absolute pfade wären da am besten
oder server die nach dem muster arbeiten
pfad_auf_dem_server/hauptdomain/
pfad_auf_dem_server/subdomain/
wo das durchspidern ../subdomain und ../hauptdomain unterbunden wird
grüsse
Zuletzt geändert von bugscout am 11.09.2003, 10:18, insgesamt 2-mal geändert.
es ist eigendlich das forum> das mir nach dem re_write mod, probleme bereitet.
wenn ich nur mit nem linkchecker drueber gehe > hagelt es errors.
und google spidert da ne seite an, die er doppelt sieht, www.meineseite/forum/page1.htm www.meineseite/forum/page1.html
und das ist alles andere als gut.
vielleicht hab ich den fehler gefunden......wrong file name auf der robotsfile.
muss sehen wo google nun drauf tickert, am meisten sorge habe ich noch da bei der htm und html endung > wie soll ich die denn sperren.
kann ich https://www.meine seite/forum/page1.htm sperren und google wird https://www.meine seite/forum/page1.html noch finden....sollte es eigendlich, da er sie ja nun auch findet....
servertechnisch wars aber mal eine >
und nun sehe ich gerade das google sie doch drin hat.
war sie aber nicht.
weiss ncoh nicht ob ich mich dadrueber freuen soll oder nicht.
gruss
mauri