robots.txt file und subdomains

[mauri]

in meiner main domain hab ich ne robots.txt, sehe aber das google bestimmste seiten ansteuert die eigendlich gesperrt sind.
habe in der sub auch eine robots.txt file > die google auch ansteuert, nur in dieser habe ich nicht die seiten von der main domain gesperrt.
frage > muss in die sub (da sie verlinkt sind) > auch eine robots.txt file rein > die die seiten von der main domain speert?
gruss
mauri

[viggen]

robots.txt nur in root, von dort aus wird alles geregelt, wer wohin darf etc..

[mauri]

mh > und google steuert die sub robots nur an > weil sie da ist....
versteh, somit > muss ich einen fehler in der robots.txt file haben > da er ja doch gesperrte ansteuert.
danke dir

[bugscout]

moin moin,

das ist ein wenig tricky.

kommt auf die verlinkung der seiten drauf an.

grundsätzlich ist die subdomain eine eigenständige domain (bekommt für sich also auch eine robots.txt. (pfad_auf_dem_server/hauptdomain/subdomain/robots.txt)

wenn von ihr aus nur über links (absolute pfade) wie a href=https://www.hauptdomain.tld/unterverzeichnis/datei.html auf die hauptdomain verlinkt wird reicht das aus, wenn in jeder domain nur die eigenen verzeichnisse geschützt werden.

arbeitest du aber mit links (relative pfade) aus der subdomain auf die hauptdomain und umgekehrt wie ../unterverzeichnis/datei.html (z.b. wenn du das gesamte projekt in dreamweaver verwaltest werden die links so erzeugt) kann der robot über die subdomain an der robots.txt der hauptdomain vorbeispidern.

absolute pfade wären da am besten

oder server die nach dem muster arbeiten
pfad_auf_dem_server/hauptdomain/
pfad_auf_dem_server/subdomain/

wo das durchspidern ../subdomain und ../hauptdomain unterbunden wird

grüsse

[viggen]

ah, tschuldige, habe die erwähnung subdomain übersehen, mein fehler

[mauri]

moin > bugscout.
mh....ich arbeite mit dreamwaver aber verlinke sie
via, a href=https://www.hauptdomain.tld/unterverzeichnis/datei.html.


es ist eigendlich das forum> das mir nach dem re_write mod, probleme bereitet.
wenn ich nur mit nem linkchecker drueber gehe > hagelt es errors.
und google spidert da ne seite an, die er doppelt sieht, www.meineseite/forum/page1.htm
www.meineseite/forum/page1.html
und das ist alles andere als gut.

[bugscout]

moin moin,

auf den deutschen und französischen seiten gehst du z.b. nicht über die subdomain

https://www.info-mauritius.com/english/index.htm

wie bei den franzosischen

https://french.info-mauritius.com/

grüsse

[mauri]

du das sind subdomains.
die https://www.info-mauritius.com/english/index.htm wird umgelenkt, hiess frueher https://english/.nfo-mauritius.com, aber ein forum mod > hat's so nicht gebacken bekommen, so mussten wir das aendern, aber ist immer noch ne sub.

vielleicht hab ich den fehler gefunden......wrong file name auf der robotsfile.

muss sehen wo google nun drauf tickert, am meisten sorge habe ich noch da bei der htm und html endung > wie soll ich die denn sperren.
kann ich https://www.meine seite/forum/page1.htm sperren und google wird
https://www.meine seite/forum/page1.html noch finden....sollte es eigendlich, da er sie ja nun auch findet....

gruesse
mauri

[bugscout]

moin moin,

https://www.info-mauritius.com/english/index.htm ist aber servertechnisch keine subdomain von https://www.info-mauritius.com sondern bestandteil der domain, auch wenn du das später umleitest.

htm - html müsste dann ja wohl eher ein mod_rewrite problem sein, wenn es gar keine forum-htms gibt.

schmeiss doch mal den code in die menge

grüsse

[mauri]

schmeiss :

RewriteEngine On
RewriteRule ^forums.* index.php
RewriteRule ^forum([0-9]*).* viewforum.php?f=$1&mark=topic
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* viewtopic.php?t=$1&view=next
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^sutra([0-9]*).* viewtopic.php?p=$1

servertechnisch wars aber mal eine >
und nun sehe ich gerade das google sie doch drin hat.
war sie aber nicht.
weiss ncoh nicht ob ich mich dadrueber freuen soll oder nicht.
gruss
mauri