Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Und was soll das sein? Sicher keine sinnvolle robots.txt. Wie viele Dateien auf Deinem Webspace enden mit ".php$" ?RW hat geschrieben:@luigip
War ein Tipfehler von mir
User-agent: Googlebot
Disallow: /*.php$
Dieser Syntax steht bei mir in der robots.txt
wieso postest du das? und dann noch den link zu dem checker?Wie wär´s mal mit
User-agent: Googlebot
Disallow: /*.php$
gewagte Theorie, die ich nicht bestätigen kann.csx hat geschrieben:@twiggie
Das heißt aber nicht, dass die Zielseite nicht indexiert werden dürfte.
eben darum Googlebot und nicht googlebot wie RW geschrieben hat.user-agent ist case-insensitive
klein/großschreibung wird nicht unterschieden.eben darum Googlebot
wo steht das?Google hält sich aber, nach eigenen Aussagen genau an diese Syntax: Disallow: /*.php$
Nur einen Klick (... finden Sie auf unserer Seite Entfernen) weiter steht dieses Beispiel:
Sorry hab das in bei case-insensitive in deinem posting überlesen. Auch bei w3c:Zum Entfernen aller Dateien eines bestimmten Dateityps (z.B. .gif) verwenden Sie den folgenden robots.txt-Eintrag:
User-agent: Googlebot
Disallow: /*.gif$
There can only be a single "/robots.txt" on a site. Specifically, you should not put "robots.txt" files in user directories, because a robot will never look at them. If you want your users to be able to create their own "robots.txt", you will need to merge them all into a single "/robots.txt". If you don't want to do this your users might want to use the Robots META Tag instead.
Some tips: URI's are case-sensitive, and "/robots.txt" string must be all lower-case. Blank lines are not permitted within a single record in the "robots.txt" file.
There must be exactly one "User-agent" field per record. The robot should be liberal in interpreting this field. A case-insensitive substring match of the name without version information is recommended.
If the value is "*", the record describes the default access policy for any robot that has not matched any of the other records. It is not allowed to have multiple such records in the "/robots.txt" file.
The "Disallow" field specifies a partial URI that is not to be visited. This can be a full path, or a partial path; any URI that starts with this value will not be retrieved. For example,
Disallow: /help disallows both /help.html and /help/index.html, whereas
Disallow: /help/ would disallow /help/index.html but allow /help.html.
An empty value for "Disallow", indicates that all URIs can be retrieved. At least one "Disallow" field must be present in the robots.txt file.
THX luigip. Ich bin jedoch krisensicherUnd nun Schluß mit der robots.txt sonst kriegt twiggie noch die Krise. Sie wollte einen thread zum Thema rel="nofollow".
aber vermutlich nicht, weil google sie von dem Link gespidert hat, der gesetzt wird, sondern weil Piratenbots die Seite spidern und irgendwoanders ein link erscheint. google hält sich schon dran ist ja über die logfiles problemlos nachzuvollziehen.Hobby-SEO hat geschrieben:Vorschlag für ein Experiment:
Erstellt eine sinnleere Seite, die garantiert nicht von außen verlinkt wird, setzt einen (versteckten?) Link von einer Eurer Unterseiten auf diese Seite, benutzt dazu das rel="nofollow"-Attribut und wartet das nächste PR-Update ab.
Meine Prognose: Die Seite wird im Google-Index landen; sie sollte aber auch nach dem nächsten PR-Update keinen PR aufweisen (das ist ja der eigentliche Sinn des rel="nofollow").
LG, Hobby-SEO
Schwarz kann der Balken auch werden? Oh Schreck!!!
