Seite 1 von 1
Google fragt nach/bittet um Erlaubnis, Seite zu spidern!
Verfasst: 25.05.2006, 15:20
von dp303
die folgende Mail haben wir erhalten und ich will die euch nicht vorenthalten.
Subject: Google would like permission to crawl [domainname]
Date: Wednesday 24 May 2006 19:34
From: "Google Crawl Coverage" To: [persönliche Email Adresse]
Hello,
Google is currently blocked from crawling your site by the robots.txt file
that your server uses to control access by search engines. As a result,
users who are looking for your site are not able to find it using Google.
As you know, a large fraction of internet users use Google as their
starting point and over 50% of search engines referrals come from Google.
Google's mission is to deliver the best search experience on the Internet
by making the world's information universally accessible and useful. We
would like to include your site at [domainname] in Google's index to
make it easier for your users or customers to find your site.
To allow Google to crawl your site, add the following lines to the
robots.txt file:
User-agent: Googlebot
Disallow:
Once you have allowed Google to access your site it can take between 4-6
weeks for your site to appear in our index. For additional information on
getting your site included in our index, please see:
https://www.google.com/webmasters/.
To help Google to crawl your site more effectively, you can create a
Sitemap. For more information, please visit our site at
https://www.google.com/webmasters/sitem ... about.html.
If you do not wish to be contacted regarding inclusion in the Google index
again, please send us an email so that we can remove you from our mailing
list.
Sincerely,
[Name]
The Google Crawl Coverage Team
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 25.05.2006, 15:58
von Fridaynite
Und die email ist wirklich echt? Hast Du den Header überprüft?
Bzw. Hast Du den Googlebot in der robots.txt ausgeschlossen?
Verfasst: 25.05.2006, 16:06
von dp303
ja die ist echt.
-> wurde zudem an eine persönliche email-adressegesendet, die nicht so zu spidern wäre und auch gar nichts mit der domain an sich zu tun hat (also andere domain)
ja der bot ist wirklich ausgeschlossen weil es sich bei der domain nur um einen dummy handelt um den server anzusprechen.
Verfasst: 25.05.2006, 16:09
von Jojo
Hast Du den Googlebot in der robots.txt ausgeschlossen?
Das würde mich jetzt auch mal interessieren. Wenn ja würde ich mal vermuten das die E-Mail echt ist.
Verfasst: 25.05.2006, 16:14
von dp303
ja der bot ist wirklich ausgeschlossen weil es sich bei der domain nur um einen dummy handelt um den server anzusprechen.
aber dort sind alle bots ausgeschlossen, nicht nur der googlebot exklusiv.
aber das würde ja die aussagen wiederlegen: "google ignoriert robots.txt"
Verfasst: 25.05.2006, 16:25
von MeNoZony
Könntest Du die robots.txt mal posten?
Bei mir hält sich der Spider nämlich nicht daran...
Verfasst: 25.05.2006, 16:35
von dp303
User-agent: *
Disallow: /
das ist alles !
Verfasst: 25.05.2006, 16:42
von Hasso
Diese Email ist echt ein Kracher
Dass Google "robots.txt" ignoriert würde ich nicht behaupten, in der Regel wird`s von Google auf ihrer eigenen Art und Weise berücksichtigt.
Grüsse
Hasso
Verfasst: 25.05.2006, 16:50
von dp303
@Hasso: ich bin auch nicht der meinung, aber es gab da doch schon einige threads zu oder irre ich mich?
Verfasst: 25.05.2006, 16:57
von Fridaynite
Google hält sich schon dran, wenn Du in den Metatags noindex stehen hast. Dann wird die Seite zwar gespidert, taucht aber nicht auf im Index.
Die robots.txt wird tatsächlich eigenartig interpretiert.
Verfasst: 25.05.2006, 17:03
von Hasso
In der Tat, auch Google ist nicht fehlerfrei. Der komplette Sachverhalt bei nicht eigenen Seiten lässt sich jedoch immer schwer genau nachvollziehen, daher betrachte ich solche "Aussagen" zumindest zum Teil kritisch.
Ich persönlich konnte bis jetzt im Ganzen mir "robots.txt" - Datei ganz gut die (Nicht)/Indexierung "steuern".
Grüsse
Hasso
Verfasst: 25.05.2006, 20:01
von Mario670
Die mail gabs schonmal Anfnag des Jahres. Die sollen sich aber mal lieber um die Aktualität der erlaubten Seiten kümmern anstatt sich mit sowas zu beschäftigen.
Verfasst: 25.05.2006, 20:12
von NoMan
hmmm, bin da ja fast beleidigt, dass ICH diese Mail nicht bekommen habe
Verfasst: 27.05.2006, 05:24
von Hasso
NoMan hat geschrieben:hmmm, bin da ja fast beleidigt, dass ICH diese Mail nicht bekommen habe
Wie so denn? Siehe es doch positiv: einer Email weniger in Deinem "Papierkorb" - Ordner
Grüsse
Hasso
