Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Google fragt nach/bittet um Erlaubnis, Seite zu spidern!

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
dp303
PostRank 5
PostRank 5
Beiträge: 303
Registriert: 11.09.2004, 13:30
Wohnort: Osnabrück

Beitrag von dp303 » 25.05.2006, 15:20

die folgende Mail haben wir erhalten und ich will die euch nicht vorenthalten.
Subject: Google would like permission to crawl [domainname]
Date: Wednesday 24 May 2006 19:34
From: "Google Crawl Coverage" To: [persönliche Email Adresse]

Hello,

Google is currently blocked from crawling your site by the robots.txt file
that your server uses to control access by search engines. As a result,
users who are looking for your site are not able to find it using Google.
As you know, a large fraction of internet users use Google as their
starting point and over 50% of search engines referrals come from Google.
Google's mission is to deliver the best search experience on the Internet
by making the world's information universally accessible and useful. We
would like to include your site at [domainname] in Google's index to
make it easier for your users or customers to find your site.

To allow Google to crawl your site, add the following lines to the
robots.txt file:

User-agent: Googlebot
Disallow:

Once you have allowed Google to access your site it can take between 4-6
weeks for your site to appear in our index. For additional information on
getting your site included in our index, please see:
https://www.google.com/webmasters/.

To help Google to crawl your site more effectively, you can create a
Sitemap. For more information, please visit our site at
https://www.google.com/webmasters/sitem ... about.html.

If you do not wish to be contacted regarding inclusion in the Google index
again, please send us an email so that we can remove you from our mailing
list.

Sincerely,

[Name]
The Google Crawl Coverage Team
Zuletzt geändert von dp303 am 25.05.2006, 16:33, insgesamt 1-mal geändert.
www.tuning-locator.de -> Tuning finden statt suchen!
www.pagenstecher.de -> Die Automeile im Netz

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Fridaynite
PostRank 10
PostRank 10
Beiträge: 2983
Registriert: 07.01.2004, 09:10

Beitrag von Fridaynite » 25.05.2006, 15:58

Und die email ist wirklich echt? Hast Du den Header überprüft?
Bzw. Hast Du den Googlebot in der robots.txt ausgeschlossen?

dp303
PostRank 5
PostRank 5
Beiträge: 303
Registriert: 11.09.2004, 13:30
Wohnort: Osnabrück

Beitrag von dp303 » 25.05.2006, 16:06

ja die ist echt.
-> wurde zudem an eine persönliche email-adressegesendet, die nicht so zu spidern wäre und auch gar nichts mit der domain an sich zu tun hat (also andere domain)

ja der bot ist wirklich ausgeschlossen weil es sich bei der domain nur um einen dummy handelt um den server anzusprechen.
www.tuning-locator.de -> Tuning finden statt suchen!
www.pagenstecher.de -> Die Automeile im Netz

Jojo
PostRank 9
PostRank 9
Beiträge: 2847
Registriert: 19.03.2004, 10:33
Wohnort: Papenburg

Beitrag von Jojo » 25.05.2006, 16:09

Hast Du den Googlebot in der robots.txt ausgeschlossen?
Das würde mich jetzt auch mal interessieren. Wenn ja würde ich mal vermuten das die E-Mail echt ist.

dp303
PostRank 5
PostRank 5
Beiträge: 303
Registriert: 11.09.2004, 13:30
Wohnort: Osnabrück

Beitrag von dp303 » 25.05.2006, 16:14

ja der bot ist wirklich ausgeschlossen weil es sich bei der domain nur um einen dummy handelt um den server anzusprechen.

aber dort sind alle bots ausgeschlossen, nicht nur der googlebot exklusiv.

aber das würde ja die aussagen wiederlegen: "google ignoriert robots.txt"
www.tuning-locator.de -> Tuning finden statt suchen!
www.pagenstecher.de -> Die Automeile im Netz

MeNoZony
PostRank 6
PostRank 6
Beiträge: 476
Registriert: 26.08.2004, 01:59
Wohnort: Ruhrgebiet

Beitrag von MeNoZony » 25.05.2006, 16:25

Könntest Du die robots.txt mal posten?
Bei mir hält sich der Spider nämlich nicht daran...

dp303
PostRank 5
PostRank 5
Beiträge: 303
Registriert: 11.09.2004, 13:30
Wohnort: Osnabrück

Beitrag von dp303 » 25.05.2006, 16:35

User-agent: *
Disallow: /
das ist alles !
www.tuning-locator.de -> Tuning finden statt suchen!
www.pagenstecher.de -> Die Automeile im Netz

Hasso
PostRank 9
PostRank 9
Beiträge: 2107
Registriert: 12.01.2004, 13:18

Beitrag von Hasso » 25.05.2006, 16:42

Diese Email ist echt ein Kracher :lol:

Dass Google "robots.txt" ignoriert würde ich nicht behaupten, in der Regel wird`s von Google auf ihrer eigenen Art und Weise berücksichtigt. :wink:

Grüsse
Hasso
Zuletzt geändert von Hasso am 25.05.2006, 16:51, insgesamt 1-mal geändert.

dp303
PostRank 5
PostRank 5
Beiträge: 303
Registriert: 11.09.2004, 13:30
Wohnort: Osnabrück

Beitrag von dp303 » 25.05.2006, 16:50

@Hasso: ich bin auch nicht der meinung, aber es gab da doch schon einige threads zu oder irre ich mich?
www.tuning-locator.de -> Tuning finden statt suchen!
www.pagenstecher.de -> Die Automeile im Netz

Fridaynite
PostRank 10
PostRank 10
Beiträge: 2983
Registriert: 07.01.2004, 09:10

Beitrag von Fridaynite » 25.05.2006, 16:57

Google hält sich schon dran, wenn Du in den Metatags noindex stehen hast. Dann wird die Seite zwar gespidert, taucht aber nicht auf im Index.
Die robots.txt wird tatsächlich eigenartig interpretiert.

Hasso
PostRank 9
PostRank 9
Beiträge: 2107
Registriert: 12.01.2004, 13:18

Beitrag von Hasso » 25.05.2006, 17:03

In der Tat, auch Google ist nicht fehlerfrei. Der komplette Sachverhalt bei nicht eigenen Seiten lässt sich jedoch immer schwer genau nachvollziehen, daher betrachte ich solche "Aussagen" zumindest zum Teil kritisch.
Ich persönlich konnte bis jetzt im Ganzen mir "robots.txt" - Datei ganz gut die (Nicht)/Indexierung "steuern".

Grüsse
Hasso

Mario670
PostRank 9
PostRank 9
Beiträge: 1006
Registriert: 30.04.2004, 20:46
Wohnort: Neu Duvenstedt

Beitrag von Mario670 » 25.05.2006, 20:01

Die mail gabs schonmal Anfnag des Jahres. Die sollen sich aber mal lieber um die Aktualität der erlaubten Seiten kümmern anstatt sich mit sowas zu beschäftigen.
Bild
SEOigg ... SEO News satt

NoMan
PostRank 1
PostRank 1
Beiträge: 6
Registriert: 13.08.2004, 12:59

Beitrag von NoMan » 25.05.2006, 20:12

hmmm, bin da ja fast beleidigt, dass ICH diese Mail nicht bekommen habe :bad-words:

Hasso
PostRank 9
PostRank 9
Beiträge: 2107
Registriert: 12.01.2004, 13:18

Beitrag von Hasso » 27.05.2006, 05:24

NoMan hat geschrieben:hmmm, bin da ja fast beleidigt, dass ICH diese Mail nicht bekommen habe :bad-words:
Wie so denn? Siehe es doch positiv: einer Email weniger in Deinem "Papierkorb" - Ordner :lol:

Grüsse
Hasso

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag