Keine Aufnahme mehr im Google Index wegen robots.txt?

Beitrag von **joedi** » 05.04.2008, 09:58

Hallo zusammen

Bevor ich mit meinem Portal online ging, habe ich bewusst verhindern wollen, dass Google die Website vorher durchsucht. Der Inhalt von robots.txt war folgender:
User-agent: *
Disallow: /

Inzwischen ist die Website fertig erstellt und ich möchte, dass Google diese im Index aufnimmt. Dazu habe ich robots.txt wie folgt geändert:
User-agent: *
Disallow:

Leider durchsucht Google die Website nach wie vor nicht oder indexiert sie nicht. Die letzte Aenderung (Durchsuchen aktivieren) ist jetzt bereits 15 Tage her und die Website ist im Google Index immer noch nicht zu finden.

In den Webmastertools habe ich folgende Informationen gefunden:
- Urls durch robots.txt eingeschränkt
- Zuletzt berechnet am 25.03.2008 (vor 10 Tagen)

Könnte es sein, dass Google wohl das aktualisierte robots.txt eingelesen hat, mit der Indexierung sich aber Zeit lässt?
Wie lange kann das noch gehen?
Kann ich die Indexierung irgendwie forcieren?

Ich hoffe nicht, dass ich grundsätzlich falsche Ueberlegungen anstelle.

Für eure Hilfe und Tipps bin ich euch sehr dankbar.
Werner

von **Anzeige von ABAKUS** »

Beitrag von **dieappenzeller** » 05.04.2008, 10:25

Ja, es kann sein, das er sich mit der Indexierung Zeit lässt
Keiner weiss, wie lange das noch gehen kann.
Beschleunigen kannst du das, evtl., mit ein paar Links zu deiner Seite.

Beitrag von **catcat** » 05.04.2008, 11:24

Du kannst auch ne sitemap erstellen und die bei google avisieren.
Bei mir kommt er dann innerhalb einiger Stunden.

von **Anzeige von ABAKUS** »

Beitrag von **dp-wurzel** » 05.04.2008, 15:30

Moin,

Kann das sein das sich die Tante zur Zeit bei bestimmten Seiten(nach welchem Kriterium auch immer festgelegt) viel Zeit nimmt? Der 25.3. ist auch in meinen Webmaster Tools der Stichtag seit dem nix mehr passiert, obwohl Seiten hinzugekommen sind etc. Google kommt und crawlt zwar, aber im Index sind die neuen Seiten nicht. Das ging schon mal schneller.

MfG dp-wurzel

Beitrag von **turnschuh** » 05.04.2008, 15:50

Hallo,
mit

User-agent: *
Disallow: /

wird alles verboten, und mit

User-agent: *
Disallow:

werden alle Verbote wieder aufgehoben.

Das Problem liegt vielleicht darin, das hier gar nichts mehr aufzuheben ist.
Ich würde in Deinem Fall die robots ganz weg lassen.

Beitrag von **ich61** » 05.04.2008, 16:38

bei mir ist ein ähnliches Problem google hat wie verrückt seiten indexiert und dann bei 12000 aufeinmal aufgehört.Dann gingen sie seiten im Index runter auf 10400 und da stehe ich jetzt schon seit 2 wochen und es geht nichts mehr.

Woran kann denn das nur liegen??

Beitrag von **Sniper** » 06.04.2008, 08:20

Dann ping den Googlebot einfach mal an....

Beitrag von **joedi** » 06.04.2008, 12:55

Hallo zusammen

Ich möchte euch bestens für eure Hilfeleistungen danken. Aus der Summe eurer Antworten schliesse ich daraus, dass ich jetzt einmal zuerst warten werde und dann Aktionen treffe gemäss euren Vorschlägen.

Besten Dank und alles Gute
Werner

Beitrag von **gelegenheitsbot** » 06.04.2008, 23:24

Meine Erfahrungen:

Der googlebot kommt oft, wenn du
a) ein sehr aktuelles thema hast
b) in kurzen Abständen viel neuen content schreibst
c) du eine "Referenz" bist .. im Sinne von "gefragt".

Wenn deine Seite neu ist, richtet sich der googlebot auch nach deinen eingehenden Links. Ich glaub auch das er schon an den eingehenden Links ableitet "wie tief" gespidert werden soll.

Aber solche Änderungen im bot-Verhalten sind träge, da google erstmal ein "Schema" erkennen muss.

Ich hab mal zwei Monate intwnsiv content erzeugt .. dann 5 Wochen nix. Bis google realisiert hat öfters vorbei zu kommen, hat es etwas gedauert. Dafür spidert google auch noch ne Weile länger, wenn sich kaum was ändert.

Also alles zeitversetzt!

Woher soll gogglobot wissen, dass du grad intensiv was änderst? Google beobachtet das Internet zuerst - nicht deine Seite.