Wie crawlt Goggle in den Log-Files

Beitrag von **Klaus** » 06.09.2003, 13:12

Hallo.
Ich habe vor 6 Wochen eine neue Domain bei Goggle angmeldet.
Gestern war Goggle da.

64.68.88.2 - - [05/Sep/2003:22:01:58 +0200] "GET /robots.txt HTTP/1.0" 200 243 "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)"

So weit so gut.

Wie kann ich denn nun erkennen, welche Seiten indexiert wurden?

In den Log-Files erkenne ich das nicht.

Oder dauert das nun noch bis zu einem zweiten Besuch?

Danke und Gruß
Klaus

von **Anzeige von ABAKUS** »

Beitrag von **Webby** » 06.09.2003, 13:38

Es gibt eine script heist Googlestats https://www.googlestats.com/english/
oder Spydertrax.
https://www.darrinward.com/spydertrax.zip

Beispiel:
https://www.abakus-internet-marketing.d ... bot=Google

oder

https://www.abakus-internet-marketing.de/googlestats/

Ich hab es nur auf meine index seite aber mann kann alle seiten die SSI hinfügen bzw. php code.

Beitrag von **viggen** » 06.09.2003, 13:39

yup, bis jetzt wurde nur die robots.txt seite besucht, jede Seite mus von Google einzeln besucht werden. kann heute sein morgen oder in einen Monat, hängt von vielen verschiedenen Faktoren hab.

mfg
viggen

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Klaus** » 06.09.2003, 17:50

Okay. Danke.
Ist eine FrameSeite. Im noframe Bereich habe ich die Links zu den Seiten, die besucht werden sollen (klappt bei einer anderen Präsenz auch sehr gut).

GoogleStats benötigt eine MSQ Datenbank, richtig?
Schade, habe nur eine bei meinem Provider.

Wieso "surft" der Bot denn nicht gleich weiter, wenn er heute schon mal auf der index.html ist?

Gehört wahrscheinlich mehr ins Anfänger-Forum,. was?

Danke.
Gruß
Klaus

Beitrag von **bugscout** » 06.09.2003, 22:13

moin moin,

GoogleStats benötigt eine MSQ Datenbank, richtig?
Schade, habe nur eine bei meinem Provider.

das ding braucht ein paar tabellen aber keine eigene datenbank,
muss man nur aufpassen, dass nicht zwei tabellen gleich heissen.

ansonsten kein problem mehrere sachen parallel laufen zu lassen.

Ist eine FrameSeite. Im noframe Bereich habe ich die Links zu den Seiten, die besucht werden sollen (klappt bei einer anderen Präsenz auch sehr gut).

mittlerweile gibt es stimmen, dass die links nicht mehr verfolgt werden.
kann man aber ne sitemap auf ne andere domain outsourcen.

grüsse

grüsse

Beitrag von **swity** » 07.09.2003, 14:30

hab da mal ne Frage zu Googlestats:

wie kann ich Googlestats in eine *.htm Datei einbinden??

mfg

Beitrag von **~bWM** » 08.09.2003, 06:48

swity hat geschrieben:hab da mal ne Frage zu Googlestats:

wie kann ich Googlestats in eine *.htm Datei einbinden??

mfg

Garnicht???

Muss es extra ein Skript sein um die Bot-Hits auszuwerten? Jeder mit einer Kommandozeile kann seine Logs selber durchsuchen:

Code: Alles auswählen

type aktuell.log | find "Googlebot/2.1" > gogbot.txt

Nur auswerten muss man halt selber ...

greetZ von einem LogfileJunk!

Beitrag von **Webby** » 08.09.2003, 08:06

Ich habe es auf meine hoimepage und meine homepage ist keine php seite

Lösung:

Es muss durch eine 'server side include' gemacht. In eine .htaccess.

versuchen mal due untere zeile.
AddHandler server-parsed .htm .html

Dann eine php seite mit die code drauf und mit include einbinden. ja es ist eine umweg, es funktioniert aber.

Beitrag von **bugscout** » 08.09.2003, 10:15

moin

AddType application/x-httpd-php .php .php4 .php3 .html .htm

dann wird php, php4, php3, html, und htm php-geparsed
kann man auch anpassen, wenn man keine php3 und php4 hat
oder wenn man htm für ssi braucht dann

AddType application/x-httpd-php .php .html
AddType text/x-server-parsed-html .htm

oder was weiss ich was

grüsse

Beitrag von **takis** » 10.09.2003, 16:11

Wie kann ich denn nun erkennen, welche Seiten indexiert wurden?

Bei Google eingeben: allinurl:XYZ

XYZ = Domain

Da findet man dann auch, wer denn alles noch den Domainnamen hat, auch als Seitennamen

Beitrag von **Klaus** » 25.09.2003, 08:34

Hallo.
Noch mal mein Text von ganz oben:
Am 06.09.03 war Google da (sechs Wochen vorher angemeldet.Okay)

viggen schrieb:
yup, bis jetzt wurde nur die robots.txt seite besucht, jede Seite mus von Google einzeln besucht werden. kann heute sein morgen oder in einen Monat, hängt von vielen verschiedenen Faktoren hab.

Gestern dieser Eintrag (einige in dieser Art waren schon vorher,genau gesagt am 19.09.03):

64.68.88.4 - - [23/Sep/2003:15:19:19 +0200] "GET /robots.txt HTTP/1.0" 200 243 "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)"
64.68.88.4 - - [23/Sep/2003:15:19:19 +0200] "GET /ferienwohnungen/gaviota/gaviota.html HTTP/1.0" 200 29790 "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)"

Aber jeweils nur diese eine Zeile. Und die Suche mit allinurl:domain.tld besagt, dass die Domain nicht im Index ist.

Alles im grünen Bereich( warten auf hoher und google...) oder nicht?
Ist das nun wieder ein langer Vorgang, bis die gespiderten Seiten im Index erscheinen?

Danke und Gruß
Klaus

Beitrag von **bugscout** » 25.09.2003, 10:26

moin moin,

schneller gehts mit einem outsource-link,
der muss aber ne zeit stehen bleiben,
weil sonst die domain wieder verschwindet.

meine derzeitige erfahrung

google kommt vorbei und liest die seite ein.
ein paar tage vergehen ....
google kommt vorbei und liest die seite ein.
ein paar tage vergehen, seite ist im index
google kommt vorbei und liest die seite und die nächste ebene ein.
ein paar tage vergehen .......

die links im body werden (zumindest am anfang) nicht verfolgt, sonder die teile des framesets.

grüsse

Beitrag von **Klaus** » 25.09.2003, 10:43

Hallo buscout.

google kommt vorbei und liest die seite ein.
ein paar tage vergehen ....
google kommt vorbei und liest die seite ein.
ein paar tage vergehen, seite ist im index

Meinst Du eine der angmeldeten Seiten oder liest die "Site" ein.
Bei mir ist es so wie oben abgebildet, wirklich täglich nur eine der Seiten innerhalb der Site.

Gruß
Klaus

Beitrag von **bugscout** » 25.09.2003, 11:07

moin moin,

immer schön eine seite nicht die site

wenn du gas geben willst brauchst du
eine externe sitemap mit allen seiten.

oder sonst einfach warten.

grüsse

Beitrag von **Klaus** » 26.09.2003, 09:33

Okay, Danke.
In der Ruhe liegt die Kraft.
ALso warten.

Gruß
Klaus