Indizierung trotz ausdruecklichen Verbot?

Beitrag von **user0816** » 09.12.2006, 01:39

Hallo Leute,

ich betreibe eine kleine Webseite nur fuer mich. Ich habe mit
User-agent: *
Disallow: /
jeglichem Bot eine Indizierung verboten.
Ich habe mal bei google nach meiner Side gesucht und siehe da, die main.php + Parameter eines Unterverzeichnisses wurde vom googlebot indiziert.

Habe ich falsch konfiguriert? Bitte um klaerende Worte!
Danke!

von **Anzeige von ABAKUS** »

Beitrag von **ole1210** » 09.12.2006, 01:56

Jepp.....google hält sich nicht immer an * . sprich ihn lieber direkt an.

Beitrag von **Dragobert** » 09.12.2006, 07:42

@user 0816
"Ich habe mit
User-agent: *
Disallow: /
jeglichem Bot eine Indizierung verboten. "

Mit der robots.txt spricht man kein Verbot aus, sondern eine Bitte.
Die Einhaltung ist freiwillig. Man hält sich dran, oder man hält sich nicht dran.
Mit Einträgen in der robots.txt kannst du niemanden aussperren.
Man muss sie ja nicht einmal lesen.

Beitrag von **bara.munchies** » 09.12.2006, 10:05

indexierung, nicht indizierung

Beitrag von **oldInternetUser** » 09.12.2006, 10:28

user0816 hat geschrieben:User-agent: *
Disallow: /

Hast Du nach (!) der Disallow-Zeile mindestens ein Return eingefügt?

Falls nein, dann entspricht es dem robots-Standard, daß diese letzte Zeile nicht berücksichtigt wird.

Eine optisch zweizeilige robots der obigen Form, die nur ein Return enthält, erlaubt allen Bots den Zugriff - das ist völlig nach Definition.

Und google ignoriert in diesem Fall auch die letzte Zeile.

Beitrag von **Dragobert** » 09.12.2006, 10:35

"Indizierung bezeichnet im Allgemeinen die Aufnahme in einen Index"

Quelle:
https://de.wikipedia.org/wiki/Indizierung

Beitrag von **bara.munchies** » 09.12.2006, 10:53

ach, interessant. ich denke bei indizierung immer zuerst an jugendgefährdende materialien. so kann man sich täuschen...

Beitrag von **user0816** » 09.12.2006, 11:56

Ich werde noch eine Leerzeile einfuegen. Habe von Euch die Bestaetigung, dass ich doch nicht falsch konfiguriert habe.

Danke fuer all Eure Hilfe!

Beitrag von **Anonymous** » 09.12.2006, 12:25

bara.munchies hat geschrieben:ach, interessant. ich denke bei indizierung immer zuerst an jugendgefährdende materialien. so kann man sich täuschen...

ist ja im Grunde etwas ähnliches... sind ja beides Indexe, bzw. Auflistungen, einmal für Webseiten und einmal für jugendgefährdende Materialien....

Beitrag von **sukaba** » 11.12.2006, 15:03

user0816 hat geschrieben:Habe ich falsch konfiguriert? Bitte um klaerende Worte!

Nein. Google beachtet die robots.txt nicht immer.

Eines meiner Projekte hatte ein halbes Jahr die gleiche robots.txt wie deine Website und wurde dennoch vom Googlebot gespidert und in den SERPs gelistet.