Seite 1 von 1
Indizierung trotz ausdruecklichen Verbot?
Verfasst: 09.12.2006, 01:39
von user0816
Hallo Leute,
ich betreibe eine kleine Webseite nur fuer mich. Ich habe mit
User-agent: *
Disallow: /
jeglichem Bot eine Indizierung verboten.
Ich habe mal bei google nach meiner Side gesucht und siehe da, die main.php + Parameter eines Unterverzeichnisses wurde vom googlebot indiziert.
Habe ich falsch konfiguriert? Bitte um klaerende Worte!
Danke!
Verfasst: 09.12.2006, 01:56
von ole1210
Jepp.....google hält sich nicht immer an * . sprich ihn lieber direkt an.
Verfasst: 09.12.2006, 07:42
von Dragobert
@user 0816
"Ich habe mit
User-agent: *
Disallow: /
jeglichem Bot eine Indizierung verboten. "
Mit der robots.txt spricht man kein Verbot aus, sondern eine Bitte.
Die Einhaltung ist freiwillig. Man hält sich dran, oder man hält sich nicht dran.
Mit Einträgen in der robots.txt kannst du niemanden aussperren.
Man muss sie ja nicht einmal lesen.
Verfasst: 09.12.2006, 10:05
von bara.munchies
indexierung, nicht indizierung
Re: Indizierung trotz ausdruecklichen Verbot?
Verfasst: 09.12.2006, 10:28
von oldInternetUser
user0816 hat geschrieben:User-agent: *
Disallow: /
Hast Du nach (!) der Disallow-Zeile mindestens ein Return eingefügt?
Falls nein, dann entspricht es dem robots-Standard, daß diese letzte Zeile nicht berücksichtigt wird.
Eine optisch zweizeilige robots der obigen Form, die nur ein Return enthält, erlaubt allen Bots den Zugriff - das ist völlig nach Definition.
Und google ignoriert in diesem Fall auch die letzte Zeile.
Verfasst: 09.12.2006, 10:35
von Dragobert
"Indizierung bezeichnet im Allgemeinen die Aufnahme in einen Index"
Quelle:
https://de.wikipedia.org/wiki/Indizierung
Verfasst: 09.12.2006, 10:53
von bara.munchies
ach, interessant. ich denke bei indizierung immer zuerst an jugendgefährdende materialien. so kann man sich täuschen...
Verfasst: 09.12.2006, 11:56
von user0816
Ich werde noch eine Leerzeile einfuegen. Habe von Euch die Bestaetigung, dass ich doch nicht falsch konfiguriert habe.
Danke fuer all Eure Hilfe!
Verfasst: 09.12.2006, 12:25
von net(t)worker
bara.munchies hat geschrieben:ach, interessant. ich denke bei indizierung immer zuerst an jugendgefährdende materialien. so kann man sich täuschen...
ist ja im Grunde etwas ähnliches... sind ja beides Indexe, bzw. Auflistungen, einmal für Webseiten und einmal für jugendgefährdende Materialien....
Re: Indizierung trotz ausdruecklichen Verbot?
Verfasst: 11.12.2006, 15:03
von sukaba
user0816 hat geschrieben:Habe ich falsch konfiguriert? Bitte um klaerende Worte!
Nein. Google beachtet die robots.txt nicht immer.
Eines meiner Projekte hatte ein halbes Jahr die gleiche robots.txt wie deine Website und wurde dennoch vom Googlebot gespidert und in den SERPs gelistet.
